DeepSeek胡编乱造问题值得警惕!

昨天,同事请我帮忙写一个参评“最美家庭”的评审材料。我写完以后,感觉还不是很完美,就复制在DeepSeek里面,特意注明请它稍微修改润色一下。

不得不说,DeepSeek的效率真高,我写了一晚上的东西,它花了不到0.2秒就给修改完了,而且提纲结构做了很大调整,有一半是原先内容改写的,还有一半是新增的,比如“组织文明社区创建”“关心帮助同楼栋老人”“开展书香家庭建设”“研发业务推广系统”,甚至还有在获得奖项时的感言。

当时我看了一下,还有些半信半疑,因为好多信息我也不掌握,后来一想这位同事各种荣誉比较多,也许是DeepSeek依靠强大的搜索功能,发现了很多我没有掌握的素材,而且里面还有数据、有场景,让人很难不相信。于是,我略加修改,就发给了同事。

结果,恰恰是新增加的内容出了问题,同事说这些事都不是他干的,连点影子都没有,申报评奖材料绝不能弄虚作假,不然被发现了就麻烦大了,评不上奖不说,说不定还会受到处分。同事的一番电话,让我耳根通红。

500

后来,我复盘了一下,把DeepSeek新增的内容逐一进行了搜索,里面有一些是同名同姓、但工作岗位和工作业绩截然不同的人的事迹,还有一些根本查无出处,应该是DeepSeek凭空编造出来的。

这个事也给我敲响了警钟。我们可以依靠DeepSeek来进行一些辅助性的工作,但对于其提供的内容,绝不能偏听偏信,而是要认真求证,否则就有可能把错误的数据信息、历史事实埋藏在文字材料中,造成严重的危害。

关于人工智能,这里面有几个问题:

其一是大模型“语料污染”问题。生成式人工智能主要通过海量“语料”进行训练、学习和提取规律,但现在大量营销号每天都在编造海量错误信息,这些信息通过人工智能的抓取和推广,就会真假难辨,更会以讹传讹,让有毒有害信息扩散传播。就像前段时间“顶流明星在澳门输了10亿”,让不少明星躺枪,结果公安网安查明是网友为了博流量,用人工智能编造的虚假信息,随后大规模扩散,影响更大。

500

其二是“AI幻觉”问题。有不少网友实测发现,DeepSeek具有“讨好型人格”,往往会顺着提问人的思路来迎合,甚至编造出完全不存在的信息,只是为了实现提问者的意图。类似申请“最美家庭”的材料,DeepSeek就可能为了能获奖,放开想象的翅膀来编故事、上高度,关键是编的还挺像,不仔细辨别就很难分辨清楚。这何尝不是一个“信息茧房”呢,让提问者越发沉浸在自己的错误认知里而无力自拔。

其三是思维惰性问题。不但是我们工作,利用DeepSeek一秒就能生成一篇洋洋洒洒数千字、逻辑严密行文规范的文章,我们的孩子把题目拍照上传,一秒就能找到答案。技术在赋能我们学习工作的同时,往往也可能让我们丧失了学习工作的上进心和求知欲。同时,我们还经常和同事讨论,啥时候我们的很多工作都可能被人工智能所取代,一下子感觉看不到希望,缺少了前进的动力。在人工智能时代,如何重塑我们的价值追求、信心信念和原创动力,是一个值得思考的严肃课题。

其四是人工智能治理问题。人工智能时代,越是信息海量发布、让人眼花缭乱,权威可靠信息反而越是稀缺。国家有关部门需要加快推进人工智能治理,对深度伪造、胡编乱造的信息,推进出台“深度鉴真”系统,确保及时、精准发现伪造、错误的信息,并对各类语料进行“价值观对齐”。这并不是一个小问题,而是舆论战、认知战的重大战略问题。否则,一旦敌对势力进行有企图、大规模的引导式“喂料”,危害国家安全的信息就可能泛滥成灾。魔高一尺、必须道高一丈,抓紧治理才能防止“蚁穴溃堤”。(图片引自网络)

站务

全部专栏