近日，安全媒体安全牛发布了《AI时代深度伪造和合成媒体的安全威胁与对策（2024版）》(下称《报告》)，报告通过广泛的调研与案例分析，系统梳理了该领域的最新发展动态和核心问题，旨在为应对深度伪造和合成媒体的安全威胁提供全面洞见，并助力产业界和社会各界在AI技术的新时代构建更加安全、可信的信息生态。
网易易盾专家团队受邀参与该《报告》部分内容撰写并提供典型实践案例。
人工智能技术发展到今天，已经随处可见由AI深度伪造与合成技术生产的各种互联网内容。且因此技术，还发生过数十起全球知名的“恶性事件”，让这项技术背后的安全风险逐渐被社会所知。
深度伪造概念首次出现在美国。2017年12月，一位名为“DeepFakes”的用户在美国社交媒体平台发布换脸“假视频”。2018年1月，“DeepFakeApp”用户创建“FakeApp”并开源，“深度伪造（DeepFake）” 一词由此首次正式被提出。
此后，该技术逐渐陷入恶意滥用的泥沼。像伪造色情视频、政治人物演讲、企业家虚假新闻等层出不穷。
近期因深度合成技术引发的社会热点事件不在少数，甚至部分事件已造成一定负面影响。基于此，网易易盾AI研究团队将为您带来关于深度合成内容安全的热点事件分析与相关政策解读。
01 眼见“不实”：技术平民化带来内容新风险
今年8月，大量利用深度伪造技术制作色情合成物的“电报”聊天群在韩国的社交媒体上曝光，受害者遍布韩国全国，涉及明星、军人、老师、护士、学生等不同群体，多为女性。由于2019年，韩国还发生活类似侵犯女性权益的N号房事件，故而此次事件也被称为“韩国N号房2.0”事件。
国庆假期期间，短视频平台上出现了大量“雷军AI配音”的恶搞视频。在视频中，“雷军”锐评了堵车、假期等热门话题，还涉及捐款给某大学、用小米SU7撞人、远程控制小米手机进行爆炸等，其中还有一些不雅谩骂。后惊动雷军本人亲自发声澄清并呼吁停止该系列行为。
近日，港星黄百鸣在社交媒体上发布了一则声明，称有人盗用他过去主演的电影画面，用人工智能技术替换了声音，并将口型根据声音进行了匹配，用来为一个不知名的药膏品牌做了代言。黄百鸣郑重表示，他没有授权任何人用他的名义代言药膏品牌，“这种行为纯属欺诈，旨在误导公众并从中取利”。
除以上知名事件以外，还有各种形形色色由深度合成技术制造的内容存在于互联网的各大平台，图片可以深度合成，音频可以深度合成，视频也可以深度合成。这不禁让人深思：以后的互联网，还有真实吗？
网易易盾安全专家认为，随着DeepFake技术的推广和使用门槛的降低，不法分子开始利用这项技术违法犯罪的门槛和成本也相应的降低了。所谓“技术平民化”能带来生产力的提升，也带来新的安全挑战。归纳总结不限于以下几类：
■ 虚假宣传－秩序扰乱与信任风险：深度伪造技术可以被用于制作虚假视频和音频，这些内容可以被用于政治宣传或误导公众，从而破坏社会稳定甚至国际关系。例如，2018 年，特朗普宣布中止全球气候变化协议，随后被比利时某政党利用“深度伪造”技术篡改，做出“特朗普宣告比利时政府也应退出”的假视频，引起比利时民众的公愤。
■ 名誉损坏－政策挑战与权利侵犯：深度伪造技术制作的色情换脸视频侵犯了公民的名誉权和肖像权，对被伪造者造成严重的心理和社会影响。这些视频的传播可能导致受害者产生焦虑、抑郁等心理障碍，甚至影响其工作就业与社会交往。多国社会名人、企业家受到波及。如《神奇女侠》主演盖尔·加朵的面容合成到了一部成人影片中，引发桃色风波。
■ 财产损失－经济风险与经济犯罪：深度伪造技术被用于诈骗和勒索，导致个人和企业遭受经济损失。例如，语音克隆技术能够在采集目标人物几句话的基础上，就通过算法生成这个人的全套语音，让人难辨真假。目前，利用假视频、假音频进行碰瓷、诈骗的现实案例层出不穷。如 2024 年，香港一家跨国公司员工被邀请进入用深度伪造制作的“高管视频会议”，被骗转账 2 亿港币，成为香港历史上损失最惨重的“变脸诈骗”案例。
■ 道德伦理－伦理风险与法律风险：深度伪造技术的应用引发了伦理问题，如侵犯已故明星与名人的主体价值完整性，以及对逝者的“赛博重生”可能违反了公民应有的被遗忘权原则等。如疫情期间，合成的爱因斯坦在视频中鼓励大家团结一致共同抗疫引发大众热议。此外，深度伪造技术还可能导致道德行为失序，如伪造视频可能引发对个体身份的操纵和数字暴力。
■ 安全威胁 - 国家安全与国际关系：深度伪造技术可能被用于制作虚假的战争命令或解锁重要设施的人脸识别系统，从而对军事安全构成威胁。此外，深度伪造技术还可能被用于网络钓鱼攻击、交易欺诈等，对企业安全构成威胁。深度伪造技术可能被用于国家间的政治抹黑、军事欺骗，增加国家间的危机和冲突，尤其是增加拥有核武器国家之间爆发核战争的风险。
深度合成内容泛滥的今天，图片不可信，音频不可信甚至连视频都不可信，我们眼见已不再“为实”。更要紧的是，随着技术进步，它所带来的风险日益凸显，这对我们的社会秩序和个人安全构成了严重挑战。
面对这一挑战，我们该如何应对？如何确保技术的发展不会偏离道德和法律的轨道？如何保护个人隐私和版权不被侵犯？这些问题迫切需要我们深思并采取行动。
02 去伪存真：合法合规“善”用新技术
目前，对于AI深度合成与伪造技术的限制和监管已经成为一个全球性的命题。网易易盾安全专家对全球相关法律法规层面进行系统性研究后，有如下总结性发现：
从整体来看，美国是最早对深度伪造技术进行立法的国家，拥有最多的针对性立法，并在联邦及州政府层面采取了广泛的行动。2018 年 12 月，美国参议院提出《恶意深度伪造禁令法案》，旨在打击制作和传播深度伪造内容的行为，可对相关个人和社交媒体平台可处以罚款和监禁。若伪造内容引发严重后果，如煽动暴力或扰乱选举，监禁可长达10年。2019年6月，众议院提出《深度伪造责任法案》，要求制作者在深度伪造视频上添加不可删除的水印和文本说明，否则视为犯罪。
目前，我国对于AIGC深度合成技术的立法规制主要参照《互联网信息服务深度合成管理规定》，归纳下可划分为四个侧重方向：深度合成技术研发前需通过伦理评估、深度合成技术的非法应用禁止、确保深度合成技术使用的非误导性、内容平台内容审核与假消息筛查义务。
深度合成内容标识制度作为关键抓手：一方面，只有对深度合成内容进行追溯标识才能追踪非法生成内容背后主体的法律责任；另一方面，深度合成产品和服务制作和发布者在使用时不得误导大众的直接要求就是对深度合成内容进行显著标识；最后，内容服务平台落实主体责任，在用户发布时确定其是否依照法规要求进行深度合成的标识，对没有标识的负有甄别责任，禁止上传可能危害国家安全或造成负面社会影响的深度合成产品，以此确保内容标识制度有效落实。
深度合成服务提供者须对使用其服务所制作的深度合成信息内容添加标识，任何组织和个人不得采用技术手段删除、篡改、隐匿深度合成标识。
我国立法层面规定的AIGC深度合成内容标识有两种类别：
①追溯标识：使发布、传播的深度合成信息内容可被自身识别、追溯的标识，让深度合成服务提供者对其制作生成的内容予以追踪，在争议发生或其他需要确认合成信息来源时能够找到源头。深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息。
②显著标识：以显著方式对社会公众有效提示信息内容的标识，告知社会公众该信息内容通过深度合成方式得到，提示公众注意内容的真实性与准确性，以防范与之相关的法律风险与道德风险。深度合成服务提供者提供以下深度合成服务，可能导致公众混淆或者误认的，应当在生成或者编辑的信息内容的合理位置、区域进行显著标识，向公众提示深度合成情况：（一）智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务；（二）合成人声、仿声等语音生成或者显著改变个人身份特征的编辑服务；（三）人脸生成、人脸替换、人脸操控、姿态操控等人物图像、视频生成或者显著改变个人身份特征的编辑服务；（四）沉浸式拟真场景等生成或者编辑服务；（五）其他具有生成或者显著改变信息内容功能的服务。深度合成服务提供者提供前款规定之外的深度合成服务的，应当提供显著标识功能，并提示深度合成服务使用者可以进行显著标识。
在具体标识方法上，信安标委发布的《生成式人工智能服务内容标识方法》明确了文本、图片、音频、视频等四类生成内容的标识方法，包括显式水印、隐式水印等标识方式，以及标识信息的具体要求：
在《AI时代深度伪造和合成媒体的安全威胁与对策（2024版）》报告中，安全牛认为深度伪造技术领域的重度参与者可以按照研究侧和服务侧两部分内容进行划分，并绘制了一张生态图谱。
随着技术的不断进步，这些参与者在推动技术发展的同时，也在积极构建一个更加安全、可靠的数字环境。网易易盾作为网易数智旗下的数字内容风控服务商，提供一系列关于深度合成内容检测和风控的安全服务，正在深度致力于安全生态的建设与改善。
技术进步的初衷是为人类社会带来生产力和生产效率的提升，从而造福社会发展。诸如“深度伪造与合成”之类的前沿技术，就像一把双刃剑，而网易易盾希望全社会共同努力，一起“善”用技术，技术向“善”。