AI造假成风下，一群人决定做“打假英雄”

明明是循规蹈矩的女学生，因照片被盗用，被“换脸”之后，成为小电影的主角。却因为拿不出来证明“我不是我”的证据，背上莫须有的骂名。

这不是电视剧情节，而是韩国真实的、正在发生的Deepfake事件。

犯罪分子获取女性照片后，通过AI技术Deepfake将其“换脸”，捏造并不存在的“事实”诬陷女性，陷入自证陷阱的女性们无法自证清白，只能呼吁大家关注滥用Ai带来的危害。

很快，这件被称为“N号房卷土重来”的事件，引发了全球关注。

毕竟随着AI技术的发展，我们任何人都可能成为被Deepfake（深度伪造）的对象，成为那些我们没拍过、没录过的音视频的“主角”。

因此，如何确保我们的安全、防止AI技术的滥用，或者及时识别出Deepfake的诡计，变得迫在眉睫。

这也是外滩大会AI创新赛·全球Deepfake攻防挑战赛上，来自全球26个国家及地区的2200名“最强大脑”想要的解决的难题。

本次Deepfake攻防赛由中国工程院院士王耀南担任专家委员会名誉主席，蚂蚁数科ZOLOZ和天玑实验室作为大赛出题方，赛题包含图像和视频两大主流的Deepfake研究方向，是CV(即计算机视觉)领域权威赛事之一，吸引了全球超1500支队伍参与。

赛事数据集由公开数据和伪造数据组成，其中，伪造图片数据涵盖了现实场景中超50种生成方式，伪造音视频中则纳入了超100种组合攻击方式，组委会开放的训练数据集总量超过100万。

经过3个多月的激烈比拼，大赛圆满结束，但关于AI与对抗的故事并没有结束：

在9月6日Deepfake攻防赛表演赛上，由蚂蚁数科和中国科技大学网络空间安全学院联合设计的高逼真Deepfake图像亮相现场，对选手AI模型进行终极考察。来自中科院的VisionRush团队获得图像赛道三等奖。

这也意味着，该AI模型能高效、有效地识别利用生成式AI技术制作的造假视频，为深受Deepfake困扰的受害者解决难题。

而早在9月2日，VisionRush团队响应赛事组委会号召，公开了这个模型源代码，旨在帮助那些深受Deepfake技术困扰的受害者。

某种程度上来说，本届大赛已圆满结束，但推动“AI向善”的初心故事，还在继续。

以下是关于他们的真实故事：

文 | 常宁宁

编辑 | 卓然

我要怎么证明“我”不是我？

一个看似毫无逻辑的问题，却极有可能因为Deepfake技术的滥用成为现实。

……

我们希望通过技术手段，为每一个可能受到伤害的人提供保护。

9月2日，“全球Deepfake攻防挑战赛”参赛团队“VisionRush”决定在网上开源其参赛作品，援助Deepfake受害者后，团队成员之一的中科院95后助理工程师张欣怡在微博上写下了如上这段文字。

张欣怡所在的VisionRush参赛队，由7名来自中科院自动化研究所的师生组成，平均年龄仅25岁。在本次比赛中，他们利用赛方提供的超150万数据，训练出了根据视频轨道来识别是否为生成式AI伪造视频的AI模型。

图 | 中国科学院自动化研究所VisionRush参赛队

这一模型，能有效地帮助Deepfake的受害者们证明“我不是我”这个难题。

“Deepfake”是由"deep learning"（深度学习）和"fake"（伪造）两个单词组合而成，是通过人工智能技术，将图片或视频中某人面部特征与其他人的与其他人的图像或视频进行融合的技术，从而创造出以假乱真的虚假视频或照片。

随着生成式AI的技术发展，Deepfake的门槛越来降低，如今仅凭一张照片，便可以低成本炮制大量肉眼难辨真伪的图片和视频，任何人都可以“造假”，也可能成为“被造假”潜在目标。

因造假成本太低，受害者往往难以证明视频中的“我不是我”。

例如，最近韩国卷土重来的“N号房”事件，有超过200所学校的女生被Deepfake换脸成为色情图片女主角，在海量“有图有真相”中，女生们陷入自证陷阱中。

但在技术人眼里，既然这些视频是Deepfake的，只要是fake就有破绽，肉眼看不出来的，就要用“AI的办法打败AI”。

37岁的王博毕业于北大计算机专业，现在是中科院自动化研究所副研究员。王博重点多媒体内容安全，比如说文本、音视频等内容是否涉及违规有害内容。期间，他见证了中国AI技术的发展，也见证了2020年前后，生成式AI加持下，Deepfake普遍普及后，在网络世界掀起的大浪。

如不法分子通过换脸名人政要、伪造音视频，恶意曲解政策，引发舆论不安、威胁国土安全；或者诈骗分子仅凭一张网络上的自拍，就能通过视频换脸，随后实施电诈。

据不完全统计，仅在2022年，我国AI诈骗案件就达到了50万件，涉及金额超过100亿元。

VisionRush的赵鹏鹏就曾见过一个报案，犯罪分子通过Deepfake换脸成校长，诈骗了一个班级群的家长，群内成员无一人幸免。

与此同时，由于大部分的Deepfake犯罪集中在网络空间，受限于取证困难等客观因素，大部分受害者维权困难，且即使能维权成功，时间周期也漫长，期间造成的名誉损失、心理伤害更是无法估量。

“我们整个大团队，专注在安全领域20多年了。始终没有换方向，其实情怀也就在里面了。我们还是想为净化网络空间，做一些努力。 ”王博说。

但对抗Deepfake极其背后的黑产，仅靠一个7人团队的力量并不够，所以VisionRush也希望开源后，越来越多专业人士能参与进来，利用这个模型去做一些更有意义的事情。

就如参赛队员张欣怡在微博中所说，“我们希望通过技术手段，为每一个可能受到伤害的人提供保护。”

对抗Deepfake又称“伪造对抗”，虽也是AI领域，但相较于“生成式AI”实在是太冷门了——商业潜力不如生成式AI、研发还需要投入资金。 

包括这次比赛，也是VisionRush团队为数不多的专业“对口”比赛。在得知蚂蚁集团举办了全球范围的安全大赛、可以和来自全球的同行交手后，团队立即成立了报名参赛，除了“切磋练兵”的心态外，也想去验证一下自己实力。

毕竟目前“伪造对抗”关注少，边缘化，但并不意味着其面临的压力更小，甚至因为各方面因素，“伪造对抗”面临的压力更大。

首先在生成式AI的技术加持下，黑产的攻击也越发猖狂。

姚伟斌就切身感受到了这种"猖獗"。姚伟斌系蚂蚁数科的安全科技品牌ZOLOZ的技术负责人，ZOLOZ基于蚂蚁集团超过20年的安全基础，为金融、政务、互联网等海外客户提供安全保障，而这些客户也恰好是黑产想要利用Deepfake攻击的对象。

“以攻击浓度而言，去年我们的海外客户面临的攻击浓度约1%，今年达到了10%”，这意味着以前100次服务中约有1次黑产攻击，现在100次访问中有10次攻击，未来这个数据可能上涨到50%，甚至更高。

但在识别虚假的对抗技术却同生成式AI技术之间存在巨大代际差。

最直观的对比在数据模型投资上。AI模型的能力和投资成正相关，即投入的资源、数据、算力越多，AI模型越强大。

市面上一个生成式AI的模型投资可能达到千万级，但伪造对抗一个模型可能就几十万预算，巨大投资差异意味着二者之间力量“悬殊”，若黑产分子以生成式AI为武器发动攻击时，维护网络安全的“伪造对抗”或许面临“军火不足”的困境。

王博说，“现在互联网中的伪造数据爆发式增长，很难对全网数据进行审查，伪造和鉴伪的资源投入不平衡也是一大挑战。“

某种程度上来说，做“伪造对抗”像是一场“逆行”，但这场“逆行”没有回头路。

毕竟AI作为未来趋势，也是综合国力的一环，如果没有相应的安全能力去制衡，AI的发展可能会误入歧途。

“所以和Deepfake的这场战争必须打，而且必须赢”，姚伟斌说。

AI没有感情，或许会沦为作恶的工具，但AI终究是“术”层面的东西，还需要“道”的层面来维护。

“做科研这份工作，需要有足够耐心和持之以恒的努力，还要能抵挡抵挡足够多的诱惑。“王博坦言，挣钱可以体现一个人的价值，但是解决一个科学问题，解决国家一项重大需求，是更有价值更有意义的事情，这不是金钱能衡量的。”

“有人做生成，就要有人去做对抗。“他们相信，这个世界总是会有人愿意共同“逆行”打赢这场战争的。毕竟相比于技术层面的东西，那些不变的普世价值观，才更能推送社会长足进步。

AI行业面临的安全挑战刻不容缓。

过去，由于AI门槛高，使用场景相对有限，对其潜在危害的讨论大多局限于学术界。然而，随着生成式AI技术的发展，Deepfake等应用变得日益普遍，相关的安全问题也随之“破圈”，才引起了公众的广泛关注。

在这样的背景下，“伪造对抗”领域不仅小众、鲜为人知，整个行业也因起步较晚，极度缺乏实战型人才。

目前大部分关注“识别虚假的对抗技术”的人，如这次外滩大会的这次全球Deepfake攻防挑战赛选手中，大多是出于一种信念在坚持。

例如，本次参赛的曾兆阳，他是一位拥有12个大赛冠军头衔的天才程序员，曾在大型科技公司工作，并参与过综艺节目《燃烧吧！天才程序员》的录制，在算法领域颇具名气。

目前，他是粤港澳数字经济研究院的研究员，专注于机器视觉研究，即赋予机器“眼睛”，使其能够通过图像进行判断和理解，这是AI领域的一个重要分支。

近年来，随着人工智能相关的诈骗案件增多，曾兆阳开始关注到在AI技术的正反两面博弈的问题，于是在发现这次比赛之后，他抽空参与了本次比赛，并交上了自己的答卷。

香港城市大学的博士后吴海威，则早在2019年读研二时，就参与过Facebook举办的Deepfake检测大赛，之后的3年时间里，无论科研压力多大，他多次参与相关比赛，希望通过竞赛去提升自己，为网络安全贡献一份力气。

在VisionRush开源之后，吴海威、陈逸鸣所在的澳门大学JTGroup战队也相继开源自己的参赛模型，他们也是这次大赛图像赛道一等奖队伍。

但是，要想在“伪造对抗”中取得胜利，仅凭一群人的信念是不够的。

在AI技术发展的浪潮中，每个人的命运都与AI紧密相连。我们无法预知科技的利刃何时会伤人，也无法估量其后果。因此，我们需要在利刃尚在手中时，就采取预防措施。

正是基于“推动AI向善”的初心，蚂蚁集团主办、蚂蚁数科承办了本次外滩大会AI创新赛·全球Deepfake攻防挑战赛。比赛的目的是唤起社会对AI安全的关注，吸引更多的投入，并培养实战型人才，使识别虚假内容的对抗技术能够跟上生成式AI的步伐，将AI技术纳入道德的框架内。

推动AI健康发展，不是少数人的任务。

在AI广泛应用于各个领域的情况下，社会需要更丰富、更多元化的实战型人才梯队。比赛中，我们可以看到选手背景的多元化。

除了来自26个国家的超过1500支队伍同台竞技外，还有许多来自字节跳动、小红书等一流互联网公司的AI研究者参与。

唐永威虽然不是计算机科班出身，但他在2022年参加ATEC大赛时自学了AI技术。作为一名数据分析师，他对数据有着天然的敏感度。

在建模时，他一改行业内人看到数据建模后测试修改的工作方式，而是基于对数据的分析和业务理解，建立若干不同模型，进行算法攻防测试。

通过这种“更下沉”的操作，唐永威的AI检测模型在本次比赛中表现出色，获得了视频赛道的一等奖。

这也再次证明，推动AI向善，不能仅依赖于少数人的努力，而是需要凝结大众的力量。

毕竟，善良作为一种美德，既是社会的底色，也是社会的共识，没有人能置身事外。