AI生成的假消息为什么更难防？怎么治理？

澎湃新闻

2026年01月23日 07:20:22 来自上海

0人参与0评论

澎湃新闻特约撰稿 符伦瑞 韩槐志

【编者按】

过去一年，我们目睹了虚假信息生态的根本性变革。在世界经济论坛发布的《全球风险报告》中，虚假信息和错误信息已连续三年位居全球短期风险高位，而AI技术的滥用，更成为这一全球挑战加速的重要推手。

当技术能轻易制造“有图有真相”的谎言，真实与虚假的边界被前所未有地模糊，虚假信息的工业化生产与病毒式传播对经济民生与公共安全构成严峻挑战。与此同时，作为应对的事实核查领域也在加速技术演进与模式创新。

为此，“澎湃明查”特约多位学者撰稿，回望2025，深度解析虚假信息的最新特点与治理难点，并探讨核查技术的未来路径。系列约稿旨在穿透信息迷雾，为重建人工智能时代的信息信任、构建社会认知的“免疫系统”提供智识支撑。

我们每天接触的信息中，真假混杂早已不是新鲜事。但随着生成式AI的普及，错误信息的生产和传播机制正在发生根本性改变。过去，制造谣言需要编故事、找素材、手工剪辑，如今许多环节已可“一键生成”；以往的虚假内容往往粗糙、容易识破，现在却能写得像专业报道、做得像新闻现场、说得像当事人亲述；从前传播多靠“碰运气”式扩散，如今则可根据用户兴趣与情绪特征实现精准推送。

这种变化带来的后果是，错误信息不再只是偶发的“劣质内容”，而更像一种持续累积的信息生态污染——它不断挤占真实信息的生存空间，消耗公众的注意力与社会信任，也使得治理越来越难以依靠单点突破来解决。

AI如何“升级”错误信息：四个变化，四重风险

第一个变化是从“零星制造”到“批量生产”。

过去，编造一条谣言需要时间和人力，传播范围也相对有限。而现在，同一个虚假叙事可以被AI迅速改写成多个版本：长文、短帖、聊天记录截图，甚至模仿“内部通报”的行文风格。AI甚至能根据不同平台的风格调整语气和标题，这使得治理陷入一个结构性困境：核查与澄清的速度，始终追不上生成与传播的速度。错误信息不再是“出现—澄清—消散”的单次事件，而是演变为持续再生的信息流。

其中，公共安全类谣言是典型场景。2025年5月，网上流传“杭州滨江发生恶性刑事案件，嫌疑人已被刑拘”，引发本地恐慌，后经警方查证为虚构。这类内容的危险不仅在于“骗到人”，更在于它借助“像通报、像新闻”的叙事模板，迅速获得转发与讨论，将公众注意力从真实信息上转移。

第二个变化是从“看着就假”到“以假乱真”。

很多人对谣言的第一道防线是直觉：看起来太离谱、图片太假、逻辑不通，会减少对其的信任。但随着多模态生成能力的提升，错误信息越来越能做得“像那么回事”：文本更通顺、画面更完整、音视频更像现场，让人很难仅凭经验判断真伪。而这种变化带来双重风险：一是普通人更易误判，并非因为缺乏常识，而是内容的“拟真度”提高了判断门槛；二是纠错信息更难扩散，一旦第一波传播建立起情绪与印象，后续澄清常常跑不过“既定印象”。

2025年北京大风期间，有人编造“门头沟广告牌砸死人”的视频进行传播，后才被警方证实为捏造并予以处罚。这类事件屡屡发生，是因为在天气灾害、突发事件等高关注场景中，人们更容易进入“求快”的信息状态：看到“像现场”的内容，就可能先转发给亲友，形成链式扩散。

第三个变化是从“广撒网”到“精准投喂”。

AI的另一种危险不在于“能写”，而在于“能迎合”。它可以根据不同人群的兴趣、立场和情绪偏好，生成“更像你会相信的版本”：同一件事，给不同群体配上不同角度、案例和话术。这会放大两种社会后果：一方面，同温层变得更厚，人们更容易把符合既有观点的错误信息当成“证据”，进一步固化立场；另一方面，公共讨论更加碎片化，大家看似在讨论同一话题，实际每个圈层拿到的是不同版本的“事实”。

2025年的“大熊猫宝力受虐、健康异常”的谣言便是情绪驱动的典型：它抓住公众对“国宝”的关心，用“伤痕、抽搐”等强刺激词汇制造道德震荡。后续虽有机构通过声明、视频与检查信息澄清，但在谣言扩散初期，它已完成情绪动员。这类内容并不依靠严密证据，而是靠“让你难受、让你愤怒、让你觉得必须转发”来推动传播。

第四个变化是从“抓到发布者就行”到“链条很长很分散”。

在AI时代，一条错误信息往往不是单点造成的：可能由模型生成初稿、账号搬运改写、平台推荐放大、用户二次创作扩散共同促成。结果就是——每个环节都可以声称自己只是“工具/转发/平台中立”，责任被切割得越来越碎。当责任难以归位，治理就容易出现两种失衡：要么只处理最末端的个体账号，而对上游的生产工具与分发机制缺乏约束；要么平台与技术主体“隐身”，把问题归结为“用户素质”，却忽视算法对传播效率的放大作用。

AI驱动的错误信息，真正的伤害在哪里？

将上述变化放到社会层面观察，会发现其危害不止于“让人信错”，更在于它持续消耗三种公共资源：注意力、信任与秩序。

首先是注意力被污染，真实信息被挤出公共视野。当错误内容可以批量生产，它会像噪音一样占据信息空间。公众有限的注意力被消耗在辨别、争吵与转发上，而那些真正需要被看见的权威信息与公共服务信息，反而更难触达人群。

其次是社会信任被磨损，公众陷入“什么都不信”的困境。当“以假乱真”的内容越来越多，公众容易进入一种防御状态：要么轻信情绪化内容，要么对一切事实保持怀疑。这两种结果都不利于社会合作：前者容易制造恐慌，后者则会瓦解公共共识。

最后是治理秩序被挑战，重要议题更容易被操纵。公共安全、公共卫生、灾害应对、重大政策讨论等领域，本应依赖稳定的信息渠道与可信事实。然而，当这些议题被错误信息“精准投喂”，公共决策与集体行动的基础就会动摇——因为公众的反应可能不再基于共同事实，而是基于不同版本、甚至相互矛盾的叙事。这种碎片化不仅制造混乱，还会被恶意利用：通过在关键时刻释放定向错误信息，可以干扰政策讨论、延误应急响应、激化社会矛盾。

当“信息战”成为常态，治理的复杂度与成本都会显著提高。

治理路径：不只“更快辟谣”，更需治理前移

应对AI驱动的错误信息，关键不在于堆砌更多“强力工具”，而应转向更系统的治理逻辑：事前防范、过程干预、提供可信线索、明确多方责任。AI可以参与治理，但前提是它被置于可约束、可校正的制度框架中。

第一，从“事后删”转向“事前防+过程管”，为传播设置“减速带”。在治安、灾害、公共卫生等高敏感场景，平台应建立更明确的传播减速机制。具体而言，对来源不明、情绪煽动性强、扩散异常迅速的内容，应先降速再核查；对“像通报、像新闻但无权威出处”的模板化内容应加强提示；对反复出现、批量改写的同源叙事，应进行聚类识别与联动处置。这并非“限制表达”，而是推动信息传播从“先扩散后核查”转向“先核查再扩散”，至少在易引发公共恐慌的领域应当如此。

第二，从“让用户自己辨别”转向“提供可信线索”，降低公众判断成本。公众不是专业核查员，要求每个人识别深度伪造并不现实。治理应当补上“可信线索”这一环：建立更清晰的合成内容标识，实现可追溯、难擦除、易理解；推动来源披露，说明发布者、是否经过二次剪辑、是否由AI生成或改写；要求对所谓文件、数据、截图等关键证据注明出处。当线索足够清晰，公众的判断成本会明显下降，“先转发后求证”的冲动也会减弱。

第三，从“无限个性化”转向“必要约束”，防止错误信息在圈层内自我强化。围绕重大公共议题，需对过度个性化的生成与推荐策略进行边界管理：提高权威澄清信息的可见度与触达率，减少同一错误叙事在同温层内的重复轰炸，对“情绪强刺激而证据薄弱”的内容降低推荐权重。治理目标不是让平台只有一种声音，而是避免错误信息借助算法将社会切割为互不相认的碎片。

第四，从“单一内容责任”转向“多方协同义务”，把责任写入规则。治理需明确“谁该做什么”。模型开发者应承担风险评估、滥用监测、设置必要安全限制及建立可审计机制的责任；平台应就其推荐系统带来的放大效应承担治理责任，落实标识与来源机制，处置异常传播；内容生产与运营主体（如账号、MCN等）应对内容的真实性与来源承担直接责任；权威机构与媒体则应提供可引用、易理解的证据链式澄清，降低公众核查成本。只有责任链条清晰，治理才能从“运动式辟谣”走向常态化与制度化。

AI驱动的错误信息之所以更危险，不仅在于它“更会编”，更在于它改变了信息生态的基本条件：供给近乎无限、拟真度不断提升、投放日益精准、责任却愈加分散。在这样的环境中，仅靠人力核查与事后纠偏注定力不从心。

真正有效的治理，是将AI纳入以公共利益为导向的规则体系：让错误信息更难被批量生产、更难被算法放大、更容易被标识与追责；同时也推动AI在识别、溯源与干预中发挥建设性作用。

信息环境不会自动变得清朗，但它可以被设计得更可治理——前提是我们将“技术进步”与“制度约束”同步推进。

（符伦瑞，清华大学新闻与传播学院助理研究员、博士后；韩槐志，清华大学新闻与传播学院博士生）