惊动美国白宫、有公司被骗2亿港元，AI“深度伪造”的罪与罚

生成式人工智能（GAI）时代，似乎没有什么不能被颠覆，连人们一直坚信不疑的“眼见为实”“有图有真相”也逐渐成为空话。

今年春节期间，OpenAI发布的文生视频模型Sora横空出世，被认为是“AGI（人工通用智能）的重要里程碑”，将颠覆视频内容生成方式。Sora的出现，振奋科技圈的同时也衍生出了担忧的情绪。有专家称，这类技术可能会导致“深度伪造”视频增多，让人难以识别真伪。OpenAI自己也承认，无法预测人们使用Sora的所有有益方式，也无法预测人们滥用它的所有方式。

Sora根据提示词生成的视频画面截图 图片来源：OpenAI官网

在Sora诞生之前，AI“深度伪造”技术已经在海内外引发担忧，知名明星与跨国公司相继成为AI“深度伪造”的受害者。今年1月底，明星泰勒·斯威夫特（Taylor Swift，中文绰号“霉霉”）大量虚假“不雅照片”在社交平台上传播。此事震动美国白宫，并掀起一波关于人工智能的担忧。2月4日，据香港文汇报报道，有诈骗集团利用AI“深度伪造”技术向一家跨国公司的香港分公司实施诈骗，并成功骗走2亿港元，这也是香港迄今为止损失最大的“换脸”案例。

诸如此类的案例越来越多，人工智能带来的新型焦虑正在形成。瑞莱智慧Real AI联合创始人&算法科学家萧子豪在接受《每日经济新闻》记者采访时就表示，他们判断，2024年这种利用AI“深度伪造”技术实施的诈骗案件会进一步增加，因为“深度伪造”技术工程化落地速度很快，“即使是不了解技术的普通人，也能够制作‘深度伪造’的内容”。

娱乐还是犯罪？

“深度伪造”一词译自英文“Deepfake”（deep learning和fake的组合），现亦称深度合成（Deep Synthesis）。“Deepfake”诞生于美国。2017年，美国一名为Deepfake的用户在社交网站Reddit上发布了一则与知名演员有关的伪造视频，这项技术随后被迅速应用到多个领域，包括色情、政治、广告、娱乐等。

上海合合信息科技股份有限公司（以下简称“合合信息”）图像算法研发总监郭丰俊告诉《每日经济新闻》记者，在国内，“深度伪造”技术有积极应用，也有负面应用。

积极应用往往在于：一、个人娱乐。一些APP可为用户提供艺术照模板，通过换脸形式生成用户照片，用户足不出户也能“拍”出好看照片。此外，“深度伪造”技术也可用于制作搞笑视频、模仿名人表演，但这可能涉及版权和道德等问题；二、教育。Deepfake技术合成的历史人物讲解视频让教学更有趣味性；三、影视制作。如电影、电视剧及综艺节目中演员换脸，纪录片中为保护参演者隐私和安全而换脸等；四、医疗。医院描述或诊断患者面部肌肉疾病时，如果将患者人脸打马赛克，就看不出面部症状，这时应用Deepfake技术，可把病人视频里的脸，换成一张假脸，既可以保留人脸的运动信息，亦保护了病人隐私；五、艺术。比如有美术馆利用Deepfake技术让已故的艺术家“现身”讲述自己的故事和作品等。

但现实生活中，“深度伪造”技术也被广泛应用于诈骗、色情等非法场景。比如，一些不法分子借助“深度伪造”技术散布虚假视频，甚至制造虚假新闻，危害社会；随着视频换脸技术门槛降低，别有用心之人利用“深度伪造”技术可以轻易盗用他人身份，实施商业诋毁、敲诈勒索、网络攻击和犯罪等。

记者注意到，目前，海内外均有大量由“深度伪造”技术引发的深度造假案例，这些案例普遍造成了不小的负面影响。

比如，近日被传出大量虚假“不雅照”的泰勒·斯威夫特。据九派新闻报道，泰勒·斯威夫特正考虑对生成这些图片的网站采取法律行动。1月26日的美国白宫记者会上，发言人让-皮埃尔被问及此事时表示：“我们对此类图像流传感到担忧，更确切地说，是虚假图像，这令人担忧。”据澎湃新闻报道，这不是泰勒·斯威夫特第一次被AI“造假”。在这次“不雅照”事件前不久，一则由人工智能生成的泰勒·斯威夫特带货广告在海外社交媒体上传播。这则虚假广告利用“深度伪造”技术，合成“霉霉”的声音，并将声音及她的形象和某品牌炊具广告片段拼凑在一起，以“霉霉”身份宣称免费向粉丝赠送炊具，引导受害者点击并支付9.96美元运费，但炊具不会真的送出去。

泰勒·斯威夫特深受“深度伪造”困扰的背后，女性正成为不法分子实施侵害的重要目标群体，他们利用“深度伪造”技术制造各种女性不雅视频、图片牟利。据网络安全研究机构Sensity在2020年秋季发布的报告，在Telegram的应用中，至少有10.48万名女性“被裸体”，而在分发这些照片的7个频道中，累计用户超过10万。根据Sensity的追踪调查，Telegram应用中超七成的使用者表示他们上传的照片是通过社交平台，或其他私人渠道取得的。

英国Wired杂志于2020年发布的一篇报道也曾指出，2020年7月以来，至少有10万名女性被“深度伪造”应用DeepNude（深度伪造软件，现已下架）创建了裸照，其中一些人不到18岁。

一些国家的政客也成为不法分子制造虚假视频的对象。1月21日，美国新罕布什尔州一些选民称接到了“拜登总统”的自动留言电话，告诉接听者不要在该州初选中投票。美国白宫新闻秘书卡琳·让-皮埃尔（Karine Jean-Pierre）次日回应称：“那通电话确实是假的，（拜登）总统没有录音。我可以证实这一点。”

更严重的还有，Deepfake甚至参与到了战争当中，成为“新型武器”。2022年3月，一条乌克兰总统弗拉基米尔·泽连斯基（Volodymyr Zelensky）的“视频”被广泛传播，在该视频中，泽连斯基呼吁乌克兰士兵放下武器投降。事件发生后，乌克兰国防部在其海外社交媒体官方账号发布了泽连斯基的视频，并配文称：“请注意，这是不可能的。”

在国内，中国香港近期发生了一起规模庞大的AI“深度伪造”诈骗案。诈骗者通过搜集一家跨国公司英国高层在YouTube上的公开影像，再利用AI“深度伪造”技术，给诈骗者换上公司高层的面部和声音，从而实施诈骗，并成功从香港分公司骗走2亿港元。这起巨额诈骗案发生前，今年1月中下旬，香港特别行政区行政长官李家超也成为“深度伪造”的目标。网上出现了用人工智能伪造的电视节目片段，冒称李家超向市民推介一项高回报的投资计划。特区政府立即严正澄清，称有关影片全属伪造，行政长官从未作出相关言论。

去年5月初，内蒙古包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件。福建省福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，想借用郭先生公司的账户走账。基于视频聊天信任的前提，郭先生并未核实钱是否到账，就陆续转给对方共计430万元，之后郭先生才发现被骗。

个人娱乐方面，北京市中闻（长沙）律师事务所律师刘凯告诉《每日经济新闻》记者，2022年8月，成都铁路运输第一法院曾一审审理了一批使用“AI换脸”App程序侵害他人肖像权的案件。古风汉服网红魏某起诉了4家运营AI换脸软件的公司，认为对方在自己未授权的情况下上传包含她肖像的视频作品，生成AI换脸视频，侵犯了其肖像权。记者了解到，国内之前涌现过一批换脸APP，但这些APP中有部分目前已经被下架，如ZAO、去演等。

大模型技术正降低“深度伪造”门槛

“深度伪造”是指利用深度学习技术生成合成图像、音频或视频的技术。由于公众人物的视频、音频、图片资料的公开性，为AI训练提供了大量素材，因此，这些名人频繁成为AI造假的“受害者”。从技术原理上看，“深度伪造”的实现主要依赖于深度神经网络，特别是生成对抗网络（GAN）。通过训练大量的面部图像数据，“深度伪造”模型能够学习面部特征之间的潜在关系，并生成与真实面部特征高度相似的虚假面部特征。

郭丰俊告诉记者，“深度伪造”与国内常见的“AI换脸”不能等同，后者只是前者的一种典型应用形式。“当谈到Deepfake技术时，国内和国外的研究团队都已经达到相当高的技术程度。相较于国内，国外拥有更多的应用程序和网站，这些平台提供了更多Deepfake制作工具，使用户能够相对容易地生成和分享Deepfake内容。”

运用Sora也可以生成高清图像 图片来源：OpenAI官网

浙江大学国际联合商学院数字经济与金融创新研究中心联席主任、研究员盘和林也告诉记者，国外对此类“深度伪造”算法限制较少，应用工具较多。在工具丰富的背景下，这项技术的普及度就相对高。“国内是有一定使用限制的，我们有监管。”盘和林表示。

萧子豪则提到，其实国内通过“AI换脸”实施的诈骗还是很常见，只是大众接触到的案例较少。一方面，太多案例可能会造成大众恐慌；另一方面，这些案例广泛传播可能会给犯罪分子以诈骗“灵感”。他透露，瑞莱智慧已经帮助很多银行在金融场景抵御AI换脸诈骗的攻击。

他认为，随着AI技术的发展与普及，“深度伪造”技术在犯罪中的应用确实呈现出增加的趋势，“而且我们判断，在2024年这种利用深度伪造实施的诈骗案件会进一步增加”。萧子豪给出的理由包括，随着“深度伪造”相关软件和工具的开发普及，即使是不了解技术的普通人，也能制作深度伪造的内容。此外，AI技术的进步也让“深度伪造”内容产生的速度更快、更难被人眼识别。

“大模型技术能够用更少的人脸数据来给特定人构造高逼真的人脸模型，降低了不法分子制作人脸视频的成本。”萧子豪说。

对于“深度伪造”技术应用不当可能带来的社会危害，郭丰俊认为，虚假合成影像可能会冲击社会信任、媒体信任，严重时还会威胁社会公共安全。此外，深度造假影像还可能会让公司名誉、财产遭受损失，还能令个人名誉、财产、精神受到损害。

目前法律法规是否足够完善？

大量深度造假视频或图片的出现，让海内外衍生出新一轮AI担忧。

据央视新闻，今年1月“假拜登来电”引发美国社会关于人工智能“深度伪造”可能影响大选的讨论，同时也延伸带出美国相关的监管政策和立法跟进迟缓的质疑。美国政府监管组织“捍卫公众利益组织”负责人罗伯特·韦斯曼批评称，政治“深度伪造”时刻已经到来，政策制定者必须尽快采取保护措施，否则将面临选举混乱。“深度伪造”会播下混乱的种子，使欺诈行为永久化。美国消费者技术协会首席执行官夏皮罗认为，“政府需要在人工智能领域扮演重要角色，确保设置安全屏障和护栏，让产业内人士知道，哪些能做，哪些不能做”。

泰勒·斯威夫特AI不雅照事件发生后，盘和林曾对外发布署名文章《用AI打败AI“深度造假”》。该文章同样提到，美国虽然已经在推动AI立法，但大部分提案还停留在纸面阶段。

相对于美国，中国在“深度伪造”方面的立法走得相对靠前。记者获悉，早在2019年11月，国家互联网信息办公室、文化和旅游部、国家广播电视总局便联合印发《网络音视频信息服务管理规定》，并于2020年1月1日起施行。该规定对网络音视频服务的使用者和提供者均提出要求，即利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

图片来源：每日经济新闻 刘国梅 摄

2022年，国家互联网信息办公室、工信部和公安部制定的《互联网信息服务深度合成管理规定》明确，深度合成服务者应采取技术或人工方式对使用者的输入数据和合成结果进行审核。去年8月，国家互联网信息办公室还在《人脸识别技术应用安全管理规定（试行）（征求意见稿）》中明确，人脸识别技术使用者应每年对图像采集设备、个人身份识别设备的安全性和可能存在的风险进行检测评估，采取有效措施保护图像采集设备、个人身份识别设备免受攻击、侵入、干扰和破坏。

刘凯向《每日经济新闻》记者表示，实际上，目前世界各国对于“人工智能/Artificial Intelligence”未有一个确定的最终定义，均是作为一类计算机应用的统称。“就我了解到的情况，目前世界上也没有国家制定一部专门针对人工智能的统一监管规则。”

不过，我国在人工智能的立法方面紧跟行业前沿，这两年陆续出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法》三部主要法规，加之此前出台的《网络安全法》等系列法律法规，可以说已经为人工智能打造了多元化监管格局，实现了多维谱系法律法规协同治理。

“对于泰勒·斯威夫特AI不雅照的深度伪造，在我国的法律规定中可适用的主要条文有：《民法典》第一千零一十九条第一款、《互联网信息服务深度合成管理规定》第十四条第二款、《生成式人工智能服务管理暂行办法》第四条第四款规定。”刘凯说。

攻与防：AI打败AI可行吗？

身处生成式AI时代，如何有效监管和减少“深度伪造”产生的虚假信息，成为全球关注的一项重要议题。盘和林在《用AI打败AI“深度造假”》一文中曾提及一个观点：“能够监管生成式AI的，不是工业时代的法律条文，而是AI技术自身。我们不但要发展AI技术，更要让正义力量尽可能多地掌握AI技术，这样才能对不法分子形成技术压制。”

那么，用AI打败AI造假可行吗？

对此，郭丰俊告诉记者，“国内做AI篡改鉴别的企业已有不少，既有如中国电信这样的央企，又有如瑞莱智慧、中科睿鉴这类大学/科学院孵化的科技公司，还有网易、合合信息这样深耕AI行业多年的企业。”他还进一步指出，国内科研团队在“深度伪造”鉴别方面已处于世界先进水平。不同的国内研究团队多次在国际知名篡改检测大赛中获得冠亚军的好名次。

以合合信息自身为例，郭丰俊透露，公司在文档/证照图像上有较多的AI篡改检测技术积累。目前，合合信息研发的针对证件及票据图片的AI篡改检测与定位技术、AI甄别伪造人脸图像的技术等已经在金融、保险行业得到广泛应用。除了金融安全场景，郭丰俊认为，虚假新闻判断、谣言识别与分析等公共安全、媒体内容安全场景也有大量的需求，合合信息正积极探索这些场景的技术应用。

萧子豪表示，瑞莱智慧从2018年开始就持续关注“深度伪造”技术，并一直投入研发资源进行“深度伪造”的检测与防御。“例如2023年，我们帮助某银行在转账业务场景下防御了上千次深度伪造攻击。”

图片来源：公司官网

他告诉记者，瑞莱智慧一直在研发迭代更先进的算法，同时也研发了一整套深度伪造攻防靶场系统，通过自动化对抗来提升防御的能力。此外，公司也密切获取不法分子最新的伪造方法，及时进行测试和防御能力增强。

“伴随新型伪造方法的层出不穷、网络传播环境的日趋复杂，加上基于深度神经网络的检测算法存在结构性缺陷等，反深伪检测技术也面临‘强对抗性’，需要持续更新与迭代优化。类似于‘猫鼠游戏’，深度合成和检测在不断学习攻防过程中会自我进化，规避上一代的对抗技术。为了能在对抗攻防中掌握主动权，未来，反深伪检测技术的发展需融合多模态内容的取证分析等多方面能力，实现伪造内容的精准识别，打造可信内容体系。”萧子豪说。