李晓曦律师:AI大模型平台对被“投毒” 输出虚假信息负有明确的审核义务

3月15日晚,央视3·15晚会曝光AI大模型“投毒”黑产乱象,揭开了不法分子利用GEO(生成式引擎优化)技术操控AI输出虚假信息的灰色链条。

500

央视315晚会的调查记者通过多日暗访,揭开了AI大模型“投毒”的完整灰色产业链。这场“投毒”不是简单的信息篡改,而是一套系统化、规模化的操作,核心主角是一群号称能“驯服AI”的GEO服务商,他们打着“优化推广”的幌子,帮商家向豆包、元宝、千问、KIMI、deepseek、文心等AI大模型定向“投喂”虚假信息,实现“操控AI答案”的目的,而这一切,只需要支付相应的费用。

500

晚会暗访显示,涉事GEO服务商可在短时间内生成虚假内容,批量发布至网络,诱导AI抓取后优先推荐,甚至让虚构产品登上AI推荐榜前三。此类行为已覆盖多款主流AI产品,威胁数亿用户,可能误导消费决策、传播虚假医疗和金融信息。

在此背景下,数字经济智库网经社电子商务研究中心邀请了行业权威人士进行解读,并发布《央视315曝光AI大模型被恶意“投毒”——网经社智库专家独家解读报告》。

500

对此,网经社电子商务研究中心特约研究员、上海申浩律师事务所律师李晓曦接受数字经济新媒体&智库——#网经社 独家专访。

GEO优化就是生成式引擎优化,类似之前的SEO搜索引擎优化。通过向AI大模型投喂大量经过繁琐包装的训练材料,让AI反复训练学习,达到优化效果。可悲的是,投喂AI的材料可能也是用AI生成的。

如何防范、杜绝这种AI“投毒”方式?可以从以下方面入手:

一是可以通过技术手段实现数据免疫。例如训练数据标注来源等方式。

二是用法律手段规制。要求优化商承担民事责任、行政责任和刑事责任。

三是行业自律。建立黑明单制度,封禁投毒账户和公司;设置ai数据源质量标准;要求服务商公开优化策略的技术细节等。

GEO服务商“投毒”AI大模型,可能面临以下责任:

1、民事责任:可能面临承担侵权责任,生成内容造成第三方损害,可能承担产品责任,需要对受误导消费者承担惩罚性赔偿。

2、行政责任:通过伪造虚假信息等方式污染数据,可能违反广告法28条构成虚假广告,承担行政责任。违反数据安全法,导致数据处理活动存在安全风险,监管部门客对GEO服务商处行政处罚。

3、刑事责任:若涉及金融诈骗,可能触犯《刑法》涉嫌诈骗罪。

此外,AI大模型平台对被投毒、输出虚假信息,负有明确的审核义务,因为算法和模型关系,法律推定其需要承担过错责任。平台的过错责任主要体现为:在AI训练阶段未尽数据安全保障义务,导致“垃圾毒素”投入大模型;在输出阶段,没有做闭口管理,导致毒素蔓延。大模型平台不能仅以“技术黑箱”为由推卸责任,而必须证明其已经采取了与其技术能力相匹配的、行业内通行的审核与风控措施,方能主张无过错。

500

专家介绍:李晓曦,15年商业律师,熟练掌握诉讼以及公司大多数非诉讼法律事务处理技能,尤其擅长企业法律风险防控和合规管理。

站务

全部专栏