权威+AI，百度百科打出王炸

消灭大模型幻觉，它是最大的利器。

作者|文昌龙

编辑|杨舟

“未来我们得到的内容可能是AI生产的东西占主导，这些东西又成为新的语料喂给AI，然后AI又会加工AI生产的东西，不断反复。这就会出现‘递归效应’，出现尼采讲的‘永恒循环’。”

中国人民大学新闻学院教授刘海龙在采访中指出，AI带来的信息传播负面效应日益显现。这一现象并非难以察觉，越来越多的人已开始感受到AI对信息传播的颠覆性影响。

随着AI信息循环的加剧，信息传播的失真也愈发严重。打破这一恶性循环，一个解决思路是，牢牢把控源内容。换句话说，打破AI大模型“幻觉”链条的关键，在于保证训练数据的质量与权威性。

根据公开信息，大型语言模型（LLM）数据集可以简单的概括为通用预训练语料库和特定领域预训练语料库，前者的来源也就是网页、语言文本、书籍、学术资料、代码、平行语料库、社交媒体和百科全书。

其中，百科作为训练数据集的核心组成部分，已经成为AIGC时代数据权威性的关键。

维基百科与百度百科等平台已经意识到这一点，并纷纷采取措施，确保数据的可信度与权威性。作为全球词条数量最多的中文百科全书，百度百科近期也有了进一步的举措。

12月27日，在百度百科在和中国科协、中国科学院大学联合举办的史记2024·科学百科100词发布会上，发布了「繁星计划」，将AI与知识内容的融合推向了新的高度。这一举措并非简单地像维基百科排斥AI，因为AI本身也具备创造力，更像是在AI与权威之间架起了一座桥梁。

毫无疑问，在不广为注意的领域，百科的内容保卫战已经拉开帷幕。

百科的重要性在于，它是AI是否生成幻觉的训练数据集源头之一。

大模型训练数据集，是指用来训练大型人工智能模型（如GPT、文心一言等大语言模型）的大量数据集合，对大模型的性能和表现至关重要。

打个比方，如果将大模型比作一个学生，那么训练数据集便是教材与练习题。教材的质量与练习题的数量和种类，直接决定了学生的学习效果与知识掌握程度。一个优质的训练数据集，能够帮助大模型这个“学生”走得更远，提供更有价值的服务。

大模型的训练数据集来源广泛，因此质量参差不齐，优质数据源往往需要付出不小的代价。

以OpenAI为例，2024年5月22日，OpenAI宣布与新闻集团达成多年期协议，获得其主要新闻和信息出版物的当前与存档内容，包括《华尔街日报》《巴伦周刊》《纽约邮报》《泰晤士报》《太阳报》等十余家知名媒体。

这一切背后，OpenAI支付了不小的代价。根据外媒报道，该交易为期五年，交易金额可能超过2.5亿美元（约合人民币18.1亿元）。

OpenAI也提到了这笔交易的原因，“最终目标是让人们能够根据可靠的信息和新闻来源做出明智的选择。”

当然，如果其他大模型机构不像OpenAI那样财力雄厚，那么最常见的选择便是单单使用一些通用的预训练语料库和特定领域的语料库，其中百科语料库尤为普遍。

最常见的百科语料库包括维基百科和百度百科，它们以免费、开源、多语言支持和高文本价值为特点。这些知识经过人工精心整理，准确性较高，能够帮助模型建立对各类事物的基本认知，如历史事件、科学概念等。

由于这些百科内容易于获取，机构通常会选择特定语言的百科数据进行爬取和过滤，作为预训练语料库的一部分。因此，它们在预训练语料库中的出现频率较高，是大语言模型（LLMs）知识库的基础。

今年年初，斯坦福大学的研究人员发布了WikiChat，宣称这是首个几乎不产生幻觉的聊天机器人，他们的信心来源于基于维基百科的知识进行训练。

然而，随着AI进程的加速，百科也不能再百分百保证其准确性。即使是知名平台，依然存在信息错误或不完整的情况。

可见，要解决大模型幻觉的问题，必须保证其训练数据集的质量和权威性。尤其是在百科类内容中，内容的准确性和专业性是大模型稳定输出的基础。

目前，维基百科为应对人工智能生成内容带来的挑战，推出了维基人工智能清理项目（WikiProject AI Cleanup），并强调内容的可验证性：要求编辑在文章历史中注明是否使用了大型语言模型（LLM）。

作为百科的另一极，百度百科早在2006年就开始为百度搜索引擎提供知识源。公开资料显示，截至2024年12月，百度百科已经收录了超2860万个词条，参与词条编辑的网友超过795万人，几乎涵盖了所有已知的知识领域。

百度百科拥有一支专家团队，用来确保所有内容的准确性与权威性。毕竟，在AI幻觉出现之前，虚假信息和利用百科进行商业宣传的行为已影响了百科产品的公共性与中立性。

回顾过去，百度百科在提升内容专业性方面做出了努力，包括组建更专业的编辑团队、加强内容审核力度，以及与行业机构合作等。

例如，2009年，百度百科推出了权威共建专项活动，联合各行业专家和机构，共同构建专业品类词条；2014年，在卫健委的指导下，百度百科联合打造了“权威医学科普传播网络平台”；2015年，百度百科与中国科协达成合作，共同完善科学类科普词条的准确性。

专家团队的参与有效抵消了大众编辑带来的非专业性问题，但如今进入AIGC时代，百度百科在权威性树立上拿出更多砝码。

从外部信息来看，为了进一步提升百度百科的权威性，百度的策略是“以AI规范AI”。即在依赖人工编辑和专家审核的基础上，结合AI技术，通过智能体等手段，进一步提升内容的准确性和智能化水平。

核心动作之一是这次的“繁星计划”，该计划可概括为四大特色：专业标识、编辑特权、技术共享和精准流量。

以“专业标识”为例，当用户在百度搜索时，专家的个人词条会以专门标识的形式展示，彰显其权威性。在信息泛滥的时代，百度百科通过识别真正的专家和优质内容，给予专业标识，帮助大众分辨真假。

过去，百度通过参考资料来定义知识，这虽然精准，却也误伤了不少专业内容，许多专业人士想要参与，但由于工具不便、门槛过高，常常被排除在外。如今，百度去除了这些繁琐的流程，为专家提供了编辑特权，降低了参与的门槛。

通过“繁星计划”，百度百科还将整合百度的AI技术，包括文心智能体平台等，通过智能体和数字人技术，帮助专家免费制作数字分身，既降低成本，又提高产量，使科普变得更加容易和权威。

此外，百度百科还将立足于百度搜索，提供亿级的精准流量分发，助力知识的全民普惠。据透露，“繁星计划”将覆盖 10 万个权威专家，覆盖超100万知识内容。有关人士表示，这或许是业内规模最大的 AI 科普计划。

百度百科正在利用AI技术架起与权威之间的一道桥梁，试图为解决AI幻觉问题、树立权威科普提供一种解决方案。

一个现象是，百度百科频繁被国内媒体作为资料来源引用，既表明其权威性已广泛认可，更重要的是，这种权威性逐渐被潜移默化地接受，成为了百度的一张核心底牌。

一方面，作为简体中文互联网体量最大、用户最广泛的搜索引擎，百度是大多数网民查找信息的首选平台。百度搜索对百度百科赋予了更高的权重，使得其内容更易被用户找到，逐步培养了用户的依赖习惯。另一方面，百度百科作为一款精准总结信息的产品，其权威性始终有保障。

因此，百度百科的内容权威性正逐渐成为百度搜索的核心护城河，不仅有效消除AI幻觉，也增强了其在激烈竞争中的优势。

这种权威性的塑造并非一蹴而就，而是经过长期的战略规划与持续打磨。从时间轨迹来看，无论处于何种内容时代，百度百科始终坚守权威性门槛，并在不同阶段不断强化这一特质。

回顾百度百科的发展历程，可划分为三个具有标志性的阶段：

1.0阶段：处于移动互联网尚未普及的图文时代，百度百科通过广泛的知识收集与整理，为百度搜索提供大量可靠的知识内容，成为用户信赖的知识源，奠定了其权威性基础。

2.0阶段：随着移动互联网的兴起，百度百科进入视频化时代。以秒懂百科等创新功能为标志，视频形式极大丰富了知识的呈现方式，使其能够以更直观、生动的方式触达用户，进一步提升了其权威性。

3.0阶段：在AI技术的浪潮下，百度百科结合文心大模型等百度AI技术体系，融入智能体和数字人等先进技术，实现知识生产与传播的智能化升级。

近期推出的繁星计划便是这一阶段的重要成果，通过AI优化知识服务，提升了百度百科的权威性，并为百度搜索提供了更强的支持。

未来，随着百度百科AI化进程的不断深入，它将不仅仅是一个知识平台，还将成为推动知识生态发展的智能工具。随着内容权威性的进一步增强，特别是在AI技术的深度融合下，百度百科或将进入新的发展阶段。