对于AI深度伪造，有了红线

南风窗

2025年09月02日 13:19:04 来自广东省

作者 | 玉城风

编辑 | 向现

“AI人文学”·序章

本月开始，所有备受原创内容的AI侵权之扰、深受AI造假资讯困扰之苦的群体，迎来了福音。

9月1日起，国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》正式施行。这一新规的关键变化在于：从国家层面明确要求，所有AI生成的文字、图片、视频等内容都要“亮明身份”。

《人工智能生成合成内容标识办法》通知 / 图源：中国网信网

此次的“标识办法”界定，所谓“人工智能生成合成内容”，是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。而所要求的“标识”则包括显式标识和隐式标识。办法要求，平台在服务提供者的内容上架或上线时，有责任进行审核，核验生成合成内容标识。一旦发现未标识或疑似生成内容，则须添加风险提示，从而在传播端阻断虚假信息扩散。

这一“标识办法”的出台，实现了同《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法规的充分衔接与补充，将为“AI创作”（特别是某些所谓“二次创作”）画出一条明规亮矩、定分止争的红线。

AI换脸：以假乱真的深度幻象

今年春的全国两会上，小米董事长雷军代表提交了一份关于加强“AI换脸拟声”违法侵权重灾区治理的建议。

雷军提交这一建议，是有前因的。上一个国庆假期，网上有人用AI捏造雷军配音，所谓“雷军语音包”层出不穷，从吐槽假期到恶意骂人，花样迭出。

对此，雷军本人还专门发视频，呼吁大家不要再恶搞：“这段时间，看到很多人在玩‘雷军语音包’。有网友说国庆被我骂了整整7天，这事确实让我挺困扰的。”

雷军的困扰，显然只是这类问题的冰山一角。

如果说“AI换音”尚属隐形的幽灵，那么“AI换脸”就是超真实世界的幻象。后者以前所未有的方式挑战着人类的认知极限。

小罗伯特·唐尼的脸被替换为马斯克的脸

通过这项技术，人们可以轻松地将一个人的脸部特征替换到另一个人的身上，生成几乎能够以假乱真的视频。这种技术在娱乐、广告等领域有着广泛的应用前景，但同时也为恶意造假者传授了“芝麻开门”的咒语。

七八年前，换脸软件Deepfake（深度伪造）刚刚亮相就引起轰动。美国社交新闻网站Reddit的成人交流社区里，一个用户把《神奇女侠》“女一号”盖尔·加朵的脸，嫁接到了一部成人电影女主角身上，并将视频上传至该网站。这个以假乱真的视频，极大混淆了视听，也引起了公众的不适和反感。Reddit官方以该换脸视频涉及不当内容，且侵犯了他人隐私为由，将视频发布者进行了封号处理。

还有一起“莫迪跳舞”事件，轰动一时。

两年前的印度大选年期间，印度总理莫迪的一段跳舞视频，引发了印度国内外的广泛关注和热议。莫迪本人很快辟谣称，这个视频是由AI合成的深度伪造视频，并警告此类深度伪造“是印度目前面临的最大威胁之一，有可能造成社会混乱”。印度电子和信息技术部部长也表示，防止错误信息传播是社交媒体的“法律义务”。他强调，深度伪造品的制作者和流通者，将受到罚款 10 万卢比和监禁 3 年的严厉处罚。

虚假帖子中的视频（左）与 真实视频（右）的截图对比

这类恶搞视频，不仅侵犯了个人形象权，更让我们深刻意识到AI换脸技术的巨大风险。如果这项技术被用于制造重大虚假新闻、恶意攻击政敌等目的，后果将不堪设想。

此外，换脸视频也成为电信诈骗歹徒的“利器”，让不少老人上当受骗、损失惨重。

深度伪造视频之所以能做到这么逼真，缘于它高明的算法逻辑。比如，Deepfake就使用了一种知名的深度学习算法GANs(Generative Adversarial Networks，译作“生成式对抗网络”)。通俗讲法是，这个“对抗性”的算法，会训练两个神经网络系统，让它们彼此竞争，就好像现实中一个山寨作者和一个真迹鉴别家之间的“切磋”。

一个神经网络系统被称为“生成网络”，就是“山寨作者”，它的任务不言而喻，就是造假；另一个神经网络就是鉴别器，好比“鉴定专家”，会将前者生成的伪作与原始数据库中的大量“真迹”进行比对、分辨真伪。

利用神经网络对另一个神经网络进行鉴别 / AI制图（诺言）

而基于每一次“对抗”结果，“山寨作者”都会及时调整参数、进行完善，直到能顺利“骗过”鉴别器。此时理论上，伪造的视频基本就达到以假乱真的水准了。

从文化学的角度来看，AI换脸这样的深度伪造技术，打破了传统身份认知的边界，使得人们的身份和形象在互联网上可以被随意篡改和重塑。

而对于新闻传播学的从业者和研究者而言，更值得担心的是，AI换脸造假事件的频发，会加剧信息环境的复杂性和不确定性——类似虚假信息的传播，不仅极易造成信息混乱，损害公众的知情权，也必然严重挤占和侵蚀主流媒体的传播力和公信力。

AI洗稿：文字背后的幽灵

与需要一定成本投入与技术门槛的视觉深度伪造相比，文本的“合成”与造假现象更为低成本和普遍化，这几年在互联网世界所引起的信息紊乱、传播失范，也更为显著。

以至于，对于当前AI写作、AI洗稿所导致的网上充斥大量垃圾信源的现状，有人愤怒地将其称为“电子粪坑”。

这些“电子排泄物”的生成流程很简单——海量的网络博主们、各种运营性账号操盘手们，利用AI工具和洗稿软件，对主流媒体或知名大V的原创文章，通过替换同义词、调整句子结构等手段，瞬间进行改写、重组（据说可以做到“洗稿”后与原文查重率不超过25%），并批量炮制出看似新颖实则雷同、“乍看吸睛、细看叹气”的垃圾内容。

2025年5月29日，上海警方侦破一起利用人工智能技术编造、传播网络谣言损害企业权益案，图为嫌疑人聊天下单截图 / 图源：新京报

而原创者的声音则越来越微弱。“AI洗稿”这类行径，将原创者的心血窃为己有，不仅侵犯了原创作者的知识产权，更扭曲了信息市场的竞争机制。

这些“洗”出来文章，又会再度撒入互联网信息的汪洋大海之中，被其他AI洗稿工具、账号当成原创内容重新抓取、洗稿、发布……于是，以讹传讹，谬以千里。漫山遍野的“AI洗稿”，令垃圾稿件大量充斥于某些知名搜索引擎和社交媒体，让普通人似乎置身“内容黑市”，亦让人们的选择和甄别变得愈发困难。在这些充满虚假与雷同的平台上，怎样才能找到真正的知识、有用的信息，成为考验每个阅读者“眼力”的技术活儿。

洗稿猖獗为哪般？

还是无利不起早。2024年10月，一则标题为“大妈摆摊卖水果被罚16万，监管局回应不交就罚145万”的“报道”在网络上广为流传，引发众多网民关注和议论。

仔细查阅这篇文章可以发现，除了博眼球的标题，文章内容也非常具体和丰富，可谓是言之凿凿。

2024年10月，一篇题为《大妈摆摊卖水果被罚16万，监管局回应不交就罚145万》的文章在多个网络平台传播 / 图源：央视新闻

然而，经民警查明，当地根本没有发生过这一事件。济南市场监管局随即发布了辟谣声明并报警。由于这则虚假信息出自湖南长沙的一家传媒公司，随后济南警方与长沙警方联合办案，发现这篇引发热议的文章，居然是该传媒公司通过AI工具生成的。

警方调查发现，这家传媒公司早就是“惯犯”。他们日常发布的文章，主要聚焦虚假的社会矛盾纠纷。而之所以选择这样的题材，是因为他们发现，矛盾冲突越激烈的文章，阅读量越高，也更容易让经营的账号盈利。

这家公司的内部运营流程手册上赫然写着：法律类文章要能引起公愤，比如农民被罚、执法部门执法不当，开出天价罚款、政府霸占农民土地不还等等……其宗旨一言以蔽之，就是：用户看完感到愤怒的，就是一篇优秀的“报道”。这些文章均以博眼球的罚款金额作为标题，内容多为小摊贩摆摊卖草莓、香蕉、烟叶等被罚款，文章除了地点、人物不同，其余的内容如出一辙。

先寻找高热度文章，再用AI仿写洗稿；炮制虚假纠纷，制造对立情绪引流获利——这就是洗稿者毫无底线的“生意经”。

而且，此类洗稿团队背后，往往还有着一条黑色产业链，涵盖“选题”“策划”“洗稿”“买粉”“买流量”“养号”“赚广告费”等等一连串操作。

这些人不生产文字，他们只是文字的盗窃者和“格格巫”。

算法茧房与AI造假：认知投喂的双重陷阱

拜算法所赐，人们仿佛被一股神秘力量牵引，走进了一个个由算法精心编织的“信息茧房”。它们就如同无形的信息泡泡，将人紧紧包裹其中。

算法，这位窥探着你每一次眼球转动、心情起伏的“配餐员”，根据人们的兴趣、偏好和行为习惯，量身定制了一份份信息菜单，精准“配餐”、定点“投喂”。

起初，人们很开心，觉得平台很贴心，让自己在海量信息中找到了舒适区、归属感。但渐渐地，有些人醒悟过来，发现已经陷在了一个狭小的资讯世界里，自己的认知和判断，被这个茧房悄悄地限制和重塑了。

人们其实早已被困在信息茧房里 / 图源：pexels

一个巴掌拍不响。AI造假技术的出现，让又一个幽灵潜进了这个茧房。

在这个新的天地间，借助AI洗稿、AI深度伪造这些新道具，“造假格格巫”们如鱼得水。根据眼球经济的大数据分析，就能更有针对性地炮制出成千上万噱头十足的吸睛内容；对照茧房上的“标签”类别，借助算法之手，就能更为轻而易举地实现对茧房之中众多“蚕宝宝”的配餐和投喂。

这些带毒的“饲料”，“色香味”俱全，却毒性深重、遗祸无穷，轻则造成“营养不良”（资讯畸形），次则引发“内分泌失调”（认知偏差），再则导致“慢性病”（偏执综合征），重则“致癌”（狂躁恶性肿瘤）。

造假术与“茧房”相互缠绕、沆瀣一气，用温水煮青蛙的温柔刀法，共同营建着对公众认知的双重陷阱。

破解AI造假的路径与药方

正视AI造假带来的种种挑战和危机，方能找到应对、破解之策。

何以破解？这无疑是一个复杂的系统工程，目前来看，至少应从技术、法律、教育、合作等多个层面进行探究——

其一，以技术之烛，照亮真相。

解铃还须系铃人。技术进步的“副作用”，还需技术手段来疗治。

一方面，我们当前迫切需要加强AI技术应用的监管。政府和相关机构应加强对AI技术的监管力度，制定严格的技术标准和规范，防止其被用于恶意造假和商业化的认知操控。

因此，《人工智能生成合成内容标识办法》的生效，是一个非常令人振奋和欣慰的事件。很显然，它的立法原意，就是要求所有涉及AI生成内容的音视频、图文和虚拟场景等，从生产环节到传播分发环节，所有的主体都必须承担起“标识”和“告知”其他所有人“这个产品涉及AI合成内容，请不要误以为真”的义务。

《人工智能生成合成内容标识办法》办法中对于图文的新规定 / 图源：中国网信网

这一办法的出台，非常及时和重要，对前段时间部分平台上充斥着大量鱼目混珠的AI生成内容乱象，将起到“一剑封喉”的作用。它不仅给久因“被抄袭”“被洗稿”而愤慨的内容创作者们祭出了“斩妖剑”，也为饱受“假新闻”“假养生知识”之苦、之害的广大网民带来了福音。

另一方面，我们还应推进AI虚假内容检测技术的普及。

比如，服务提供者将被强制要求运用可能涉及标识的诸多技术，如水印算法、元数据格式、服务商编码等，而这些信息将帮助执法部门在发现虚假违法内容时快速识别内容来源，从而精准地追踪到服务提供者或者用户。

又如，可由政府部门牵头，利用深度学习等先进技术，建立完善的监测系统，对网络上传播的内容进行实时监测和分析，更好实现及时发现、处置虚假和编造类信息，避免其进一步发酵、变形和升级。

及时对网络传播的内容进行监测 /《目之所及》剧照

其二，以法律之盾，守护正义。

国际上的立法思路主要分为两种，一种是海洋法系，偏重事后追责与判例约束；另一种是大陆法系，强调预先防范与法典规范。我国立法传统相对接近大陆法系，本就擅长于未雨绸缪。因此，未来对于AI造假等新型犯罪，我国的法律体系特质，使得我们可在进一步增强法规制定的预见性方面，体现出更明显的优势。

同时，针对不断出现的新问题，也要快速立法修法，及时补漏堵洞，确保法律体系的灵活性与适应性。

而对已有法律法规，亦要用好用足。比如，对于利用AI技术进行诈骗、侵犯个人隐私等行为，现行法律法规已有不少制约条款，只要积极用好用足，亦可以对不法行为做到严惩不贷，提高违法成本，形成有效震慑。

其三，以教育之树，播撒“抗体”。

科技发展健步如飞、日行千里。数据显示，我国生成式人工智能产品的用户规模已达2.3亿人。然而，很多中老年人大半辈子养成的媒介阅听惯性一时难改。

大部人中老年人已形成媒介阅听惯性 / AI制图（诺言）

这也为AI造假者提供了可观的“用武之地”。

因此，必须尽快提升公众的媒介素养。要通过教育和培训等方式，提高公众对AI技术的认识和了解程度，增强其辨识虚假信息的能力。

同时，在信息爆炸的时代，批判性思维显得尤为重要。要通过多种方式和渠道提示公众：面对海量信息须时刻保持头脑清醒，尽可能学会从多个角度审视和分析问题。

其四，以治理之网，多元共治。

防范AI造假是个系统工程，必须构建多元共治格局，合力“驱魔”。

一方面，要推动行业自律与伦理建设。在AI技术快速发展的背景下，行业自律和科技伦理理应成为第一道防火墙。相关行业协会和组织应制定行业规范和伦理准则，引导企业和技术开发者在技术研发和应用过程中，更好遵循科技伦理和道德标准。同时，建立行业自律机制，对违反规范和准则的行为进行惩罚和制裁。

行业自律和科技伦理应该是第一道防火墙 / 图源：unsplash

另一方面，也要加强国际间的技术交流与合作。互联网世界是平的，AI科技让这个世界更“平”。因此，面对AI乱象，没有一个国家能够独善其身。建立国际技术合作平台或联盟等机制，共同应对跨国AI造假行为等挑战，宜早不宜迟。同时，应通过加强信息共享、联合执法等方式，建立国际追诉机制，形成对跨国AI造假犯罪的有效遏制和打击。

这些，都是需要多方协作、耗时甚巨的系统工程、长期工程，既不能操之过急，也不应熟视无睹。

当虚拟照进现实，当AI造假易如反掌，“魔”与“道”的博弈遭遇新的命题。破解之道，不在墨守陈规，更不在放弃原则，而在于与时俱进、顺势而为、学会驾驭。

唯有让“人”更清醒、更聪明，让防火墙更牢固，让红线更有震慑力，方能让技术谦卑于常识和法律之下，让算法臣服于伦理和人性之前，方能在数字洪流中守护好事实真相和主流价值观的方舟。

（作者是AI人文学研究者）