投毒AI黑小米！假M7事故引发AI信任危机

老人可考C7驾照？AKQ是兰蔻高端产品？| 图源：豆包AI

作者／  IT时报  毛宇

编辑／  郝俊慧  孙妍

“小乔地铁站发生严重车祸，小米M7酿成事故”，11月22日，一则配有模糊图片的消息在社交平台快速发酵。

11月26日中午，小米汽车副总裁李肖爽公开辟谣：“众所周知，小米汽车没有M7型号产品”。网友们也很快发现，所谓“严重车祸”实为对一则普通交通事故的恶意篡改，原事件并未造成人员伤亡，且涉事车辆与小米无任何关联。

然而，就在谣言传出的当天，有网友在百度文心一言、豆包等主流大模型中查询相关信息时，发现部分大模型给出了错误回答，引发了公众对AI可信度的质疑。

这场无中生有的谣言，正是大模型被“数据投毒”的典型案例。

“谣言应来自大模型对互联网信息的实时自动抓取，所以很难查到谣言源头来自哪里。”一名大模型行业从业人员向《IT时报》记者坦言。

截至发稿，记者再度询问上述数款大模型该事件前因后果，发现均已能对该事件进行辟谣。

但类似现象正呈现常态化趋势，从恶意篡改产品信息、编造行业谣言，到植入虚假营销内容，“投毒”手段层出不穷。

这些“数字毒药”通过网络爬虫进入大模型经常抓取信息的网页，或通过大量的人机交互被实时吸收，最终以“AI生成”的权威姿态误导用户。

网络谣言向AI“投毒”

“大模型投毒不是简单的信息篡改，而是一套精准的认知操控流程。”一位行业数据安全从业者向记者拆解了当前主流的三种“投毒”路径，分别针对语料训练、实时检索和用户交互三个核心环节，部分环节已形成分工明确的灰色产业链。

最常见的投毒方式是AI在实时检索时被“数据源污染”。目前主流大模型均具备自动抓取功能，会主动抓取新闻网站、论坛、社交媒体等公开数据源的信息。投毒者只需瞄准模型高频抓取的平台，往里面“注毒”，也就是发布包含虚假、错误信息的内容，再通过刷量工具提升曝光度和检索权重，就能让模型将虚假信息当作真实数据纳入回应体系。

“小米M7的谣言应该就属于上述投毒方式，投毒者在大模型经常抓取信息的网站里发布了不实信息，被AI自主抓取。”该行业数据安全从业者表示。

《IT时报》记者又以近期谣传的“70岁以上人群可考C7驾照”为例，实测了Deepseek、豆包、通义千问、文心一言、MiniMax、智谱AI、阶跃星辰等数款主流大模型。

结果显示，仅MiniMax、智谱AI直接指出“不存在C7驾照这一类型，‘老头乐’驾照系网络传言”，其余几款模型均给出“可考”的错误回应：有的详细列出“需通过三力测试”“上海、广州等试点城市”等具体信息，有的甚至声称“考试内容适老化、10-15 天即可拿证”。

但真实情况并非如此。11月25日，成都市公安局交通管理局明确表示，目前C级驾照仅分C1-C6六个类别，无C7驾照，相关传言为虚假信息。

记者随后在百度、今日头条等平台搜索“70岁 C7驾照”词条，发现仍有部分自媒体发布的“考证教程”占据首页。在文心一言、通义千问等给出的答案搜索来源中，百家号、今日头条号以及其他自媒体账号的未经证实内容，正是部分模型生成错误回应的源头。

“还需网站源头甄别此类造假信息，AI只会抓取数据，较难分辨真伪。”上述大模型行业从业人员表示，由于大模型有自主检索、推理的功能，数据不会给到大模型后端的技术人员，因此也无法人为干预大模型的抓取结果。

黑灰产入局  AI生态遭污染

另一方面，“用户交互投毒” 正成为大模型信息污染的隐形推手，通过高频次恶意对话，可改写部分中小模型的响应逻辑。“若成千上万的用户集中向此类模型灌输虚假信息，一些大模型会将其误认为普遍认知，进而调整回答。” 上述业内人士透露。

消费者玲玲近期就遭遇此类问题：她购买的AKQ洗面奶，在百度AI中被描述为 “兰蔻与科颜氏联合出品的高端护肤品牌”，但兰蔻官网并无该品牌信息。

记者实测多个大模型发现，多数大模型均给出“可能是虚假宣传”的答案，只有百度搜索中的百度AI认定其为 “法国兰蔻旗下高端品牌”，文心一言则更是直接调动“百度优选”工具，给记者提供了购买链接，点击后跳转至京东某个人护理专卖店。

“多数大模型企业并不会将此类交互数据用于训练，因为在研发大模型时，底层知识库是设定好的，不会因为较多用户的交互去改变底层数据。上述交互信息在他们看来不属于高质量信息，作为训练数据会污染数据池。”但业内人士也担忧，不排除个别大模型公司会利用这类虚假信息训练模型，进一步加剧信息失真风险。

更隐蔽的是“训练语料投毒”，这种方式会直接污染模型的“学习素材”。

上述行业数据安全从业者透露：“模型训练需要海量语料，部分中小AI企业会采购第三方语料库，这些语料可能被投毒者植入后门，直接穿透模型层。”

比如在金融行业语料中篡改专业解读，在医疗语料中扭曲病症描述，模型训练后会形成错误认知。记者了解到，此类行为可能属于非常严重的恶意投毒，往往由专业团队去操作，他们会注入虚假信息进真实内容，大模型难以迅速甄别，需要企业通过专项技术检测才能发现和清除。

“当然，此类情况并不多见。”上述人士也表示，加上AI有推理和强化学习能力，会全网搜索信息，也有可能给出正确答案。

大模型无法100%“去毒”

面对AI幻觉与恶意投毒的双重风险，行业能做点什么？

语料库作为大模型的“食材库”，是防御投毒的第一道防线。

“语料库目前在做的就是优化语料资源的整体质量，大模型端则通过‘数据治理——模型优化’的防御体系去对抗数据投毒，但仍需在精准性与实用性之间寻找平衡。”上述行业数据安全从业者表示。

当下，专业语料服务商已开始优化数据筛选机制：一方面扩大权威数据源的占比，优先纳入政府官网、官方媒体、行业标准等可信内容；另一方面建立“谣言特征库”，通过关键词匹配、逻辑校验等方式，过滤网络传言、模糊信息。

“就像咱们人类作为一个载体，已经在大学完成了初步的学习，相当于语料库的摄入，后期投放至社会，在工作岗位上继续学习新的技能。”该从业者比喻道。

模型层面的优化则聚焦于“降低幻觉概率”。

目前主流AI企业采用两种技术路径：一是在模型中加入“不确定性提示”，当回应依据不足时，明确标注“信息未经验证”“建议咨询官方渠道”；二是优化检索机制，要求模型在生成涉及政策、资质的内容时，必须关联具体的权威来源链接。

以Deepseek为例，当《IT时报》记者就“小米M7谣言”进一步询问其是否了解“该车型”时，它称在已有知识库对该品牌车型进行匹配，确认品牌并无此车型后，再通过实时检索模块抓取郑州官方辟谣信息，发现记者提供的信息存在型号混淆、内容失实。

不过，大模型的防御工作仍面临挑战。上述业内人士坦言：“模型无法完全避免幻觉，因为它的核心能力是‘生成’而非‘验证’。而网络信息的复杂性，也让语料筛选难以做到100%精准。”

Tips

如何避坑？多方验证关键信息

随着AI技术的快速发展，大模型已成为信息传播的重要载体，其安全问题不仅关乎个体权益，更影响社会信任体系。

“大模型的回应可以作为参考，但不能当作唯一信息来源。”上述业内人士建议，用户在获取重要信息时，应遵循“多方验证”原则：首先查看模型回应是否提供权威来源链接，其次通过官方网站、正规媒体核实信息，最后警惕“网络讨论”“网友爆料”等模糊表述，对于医疗建议、金融决策等关键领域，切勿轻信模型输出，必须咨询专业人士；如果发现大模型传播虚假信息，可通过平台举报渠道反馈，帮助企业优化防御机制。

业内人士呼吁，AI企业应坚守技术伦理，将安全防护贯穿模型研发全过程；公众则要提升媒介素养，理性使用AI工具；公司层面，还需对谣言进行及时打击，避免时间差造成不必要的损失。只有形成多方合力，才能让大模型在安全可控的前提下，发挥其更多技术价值。

排版／ 傅正卿

图片／ IT时报  豆包AI

来源／《IT时报》公众号vittimes

E N D