陈小平 | 人工智能三原则——探索机器智能与人类福祉的和谐共生之道

陈小平｜中国科学技术大学机器人实验室主任、计算机科学与技术学院教授

本文原载《探索与争鸣》2025年第3期

具体内容以正刊为准

非经注明，文中图片均来自网络

陈小平

人工智能是研究和应用机器智能的人类活动，其应遵守一些基本原则。本文提出人工智能三原则，即坚持机器智能的另类性、坚持人类福祉的优先性、坚持人工智能的可控性。其中，机器智能的另类性是人工智能的科学基础，不坚持机器智能的另类性就无法保证人工智能的可控性，没有人工智能的可控性就无法保证人类福祉的优先性。

机器智能的另类性

流行观点认为，人工智能就是用人工方法模拟人类智能的工作原理，这隐含着如下“单智”假设：世界上只有一种智能，即人类智能，而人工智能不过是机器载体上的人类智能。但此假设在科学上并不成立，正如历史上普遍流行的地心说在天文学中不成立一样。

笔者基于图灵思想提出的“机器智能的另类性”，是基于如下“双智”假设：世界上有两种智能，即人类智能与机器智能，两种智能工作原理有相同的部分，也有不同的部分，这使得两种智能的表现有时难以区分，有时明显不同。这种情形可以形象地描绘为两个部分重叠的圆，重叠部分代表两种智能相同（或难以区分）的表现和原理，不重叠部分代表不相同的表现或原理。比如，围棋AI程序AlphaGo下棋的表现明显与人不同，下棋的原理（基于平均胜率估计的决策）也与人明显不同，可是几乎所有人都承认AlphaGo在下围棋这一功能上具备了智能。这种智能是人类智能吗？显然不是。

流行观点以麦卡锡1955年提出的术语“Artificial Intelligence”（AI）作为人工智能的起点，并认为这个术语指的就是用人工方法模拟人类智能的工作原理。麦卡锡在个人主页通过一系列问答阐述了他对AI的解读，其中第四个问题是：AI不就是模拟人类智能吗？他的回答为：有时候是，但并不总是，甚至通常不是。他进一步解释道：一方面我们有时通过模拟人类的方法让机器表现出智能;另一方面，大多数AI研究是探讨、解决世界对智能提出的问题，而不是研究人或动物。可见麦卡锡完全认同图灵的思想，明确否定AI就是模拟人类智能。

根据我对人工智能历史上的所有里程碑式进展的分析，这些成果无一例外都遵守另类性。一个最近的例子是其开发者获2024年诺贝尔化学奖的AlphaFold2，这个AI程序通过数据增强和强化学习，而不是模拟化学家的思维方式，来预测蛋白质的三维结构。近七十多年来，人工智能科学实践反复验证了AI奠基者和早期开拓者的思想中所隐含的机器智能的另类性，现在到了大众抛弃人工智能地心说的历史时刻。

大模型是机器智能另类性的一个典型代表。大模型隐含机器智能的两项原理性突破，同时也是两项原理性局限，即实例性和弱共识性，这两个性质充分展示了大模型的另类性。笔者2023年7月曾撰文提出了大模型底层机制关联度预测的一种形式化理论——类LC系统，该系统包含三套公理模板，用一个指定的数据集进行训练，产生符合模板格式的、数目不定的公理。

类LC的实例性表现为：它的任何一条公理都不含变量，而是由两类常量构成：一类是语元(token)，即字词和标点符号；另一类是语元之间的关联度的值（即0到1之间的一个数值，代表语元之间关联的强弱）。因此，一条类LC公理并非严格意义上的一条数学公式，而是数学公式的一个实例，即公式中的所有变量被分别替换为常量的结果。

类LC的弱共识性表现为：它的形式语义以语元和语元之间的关联度为表示基元（primitives），仅限于基元上的统计信息，此外，类LC不带实质语义，而是接受外界（如大模型用户）赋予它的实质语义，且可同时接受任意多种不同的实质语义，只要这些实质语义不与类LC的形式语义矛盾。

自古以来，科学始终是用包含变量的数学公式（或包含变元的逻辑公式）来描述研究对象的，并借助少数几条公式表达对象的基本性质，这些公式被称为公理（或公设）。从公理出发，通过数学和逻辑推理可以得出定理，描述对象的派生性质。

一般而言，科学在每一个领域的基础研究就是要找到少数几条公理，从而完全描述该领域的基本规律，达到理论上的封闭化。然而数百年来，用这种方法研究自然语言却始终难以奏效。同样，人工智能的自然语言处理研究也是如此。究其根源，在于自然语言理论上不是封闭的。

类LC系统为非封闭的自然语言提供了非封闭性表达方式，包括语法和语义两个方面。语法方面依靠实例性，即用类LC系统的一条公理描述自然语言现象的一个具体实例，使得训练数据中出现的每一个语言实例，在类LC系统中都有一条对应的公理，表达对应的实例化规律。只要训练数据不穷尽自然语言现象的所有实例，类LC系统就不会穷尽自然语言的所有实例化规律。当训练数据包含的自然语言现象实例更多，对应的类LC系统所包含的自然语言实例化规律也更多。

语义方面则依靠弱共识性，其机制为：人会不自觉地将语元解释为对应的概念，于是概念承载的实质语义不知不觉中填补了类LC系统实质语义的空白，使得“有概念”的人类难以意识到大模型的“无概念”，从而产生大模型有概念、人与大模型有完全共识的幻觉。

其实人类思维中的概念至少包含三层关联：第一层是概念表示之间的关联，即一个概念的表示与其他概念的表示之间的关联，包括统计关联；第二层是概念表示与其所指的现实世界中的对象之间的关联；第三层是概念表示与对应的生命体验之间的关联。显然，类LC系统只拥有第一层关联，没有第二、第三层关联，导致大模型与人之间的共识只能是弱共识。然而以往的科学理论、数学、计算机科学和人工智能强力法都是基于概括性和强共识性。现在这两个基本性质都彻底反转，让人一时难以适应。

我相信，科学上可能的所有机器智能都具有另类性。但与人类智能相同种类的机器智能是逻辑上可能的，因此有必要置于人工智能三原则的考虑范围之内。在单智假设下，人类智能迟早被机器智能取代，人类文明被机器文明取代，甚至人类也被机器取代。在双智假设下，人类智能与机器智能可以长期共存，人类的命运非但不会被机器终止，反而可以因“祸”得福，开创人类未来的新纪元。

人类福祉的优先性

首先需要明确，优先性原则中的人类福祉指的是符合人类根本利益的福祉，而人类根本利益指的是对人类整体生存和发展具有决定性影响的利益，包含经济、政治、文化等各个方面。优先性原则普遍适用于逻辑可能的假想情况和现实可能的实际情况。一种极端的假想情况是：人工智能的发展最终产生了“高于”人类文明的机器文明。那么，是否应该允许机器文明取代人类文明，即允许人类发明消灭自己的机器智能？优先性原则确立了人类优先于机器、人类文明优先于机器文明的优先级排序，所以不允许出现用机器消灭人类的可能。

导致上述假想情况得以出现的一种可能方式是，人类发明了与人类智能相同种类的机器智能，即机器载体上的人类智能，拥有与人类相同种类的思维、情感、意识和生命体验，并达到比人类更高的水平。一旦这样的机器智能成为现实，如果人类拒绝接纳这些机器成为人类的新成员，则将陷入道德绝境；如果接纳，将陷入生存绝境，难逃最终被智能机器彻底取代的命运。因此，在不违背优先性原则的前提下，必须坚持另类性原则，禁止发明与人类智能种类相同的机器智能。

在坚持另类性原则的前提下，两种智能由于原理不完全相同，各自带有不同的“先天局限”，所以不会彻底相互取代。尽管如此，人工智能的发展仍然带来颠覆性影响——人类不再是世界上唯一的智力霸主，某些方面比人类智能更加强大的机器智能正在迅速崛起，对人类智能和人类社会产生巨大、深远的影响，人类面临着“重新做人”、社会面临着涅槃重生的史无前例的考验。

如此考验远超科学技术的影响范围，必然更深刻、更广泛。让我们首先回顾工业革命。工业革命在技术方面的最大特点是出现了能够代替人体力功能的机器，但没有智力，即仍需要人工操纵机器。为了提高生产效率，就要使用更多机器，于是需要更多工人，这样就形成了工业革命的效率闭环：生产效率提升带来就业增加，就业增加带来收入增长，收入增长带来消费扩大，消费扩大反过来刺激生产效率的进一步提升。因此，在工业革命时代，政府对生产效率提升采取了无条件支持的态度，即使引发了环境污染等副作用，仍然采取先发展后治理的解决办法。经历了几百年的工业革命，这种思维方式已经根深蒂固，成为阻碍智能革命的思想羁绊。

一旦AI技术得到大面积应用，社会就将进入智能革命时代。智能革命的最大特点是机器的智力和体力功能都超过人类或超过大部分人，越来越多的机器不需要人工直接操纵。于是，生产效率的提升不但不带来就业增长，反而导致就业减少，作为工业革命最大特点的效率闭环在智能革命时代不再成立。因此，智能革命不是第四次工业革命；恰恰相反，智能革命要革工业革命的命，要建立新闭环、取代旧闭环。

目前正在形成机器智能大规模替代人工的趋势，典型代表是大模型替代服务业中的大量工作岗位。大模型技术体系主要包含预训练、后训练和激发（prompt）三个部分。大模型在预训练中使用了所有可以获得的“公域数据”，如互联网文本、电子书籍等所有开放的电子数据，没有使用“私域数据”，即个人和机构的不开放数据。当大模型被越来越多的用户使用，便可以获得越来越多的私域数据。通过私域数据的训练，大模型解决各种场景中实际问题的能力将得到极大提升，甚至可能实现所谓的AGI（通用人工智能）/ASI（超级人工智能）。

一些人把AGI/ASI当作技术理想，相信用AGI/ASI替代人工可以带来生产效率的极大提升，从而造福人类。然而这种“理想”混淆了时代背景。如上所述，效率闭环只在工业革命时代成立，在智能革命时代并不成立，甚至效果可能相反。最终出现什么结果，取决于当前的路径选择。

其中一条路径的结果是出现大资本独占的超级寡头经济。国际上一些知名学者说“人工智能即将统治人类”，指的不是人工智能技术统治人类，而是说大资本利用人工智能技术统治人类。显然，这种情况不符合多数人的根本利益。因此，人类有必要对优先性原则达成共识，进而对人工智能发展的路径选择达成共识，并排除违背优先性原则的路径。

人工智能的可控性

优先性原则是关于结果的，而可控性原则是关于过程的，是优先性原则始终得到遵守的保障。可控性原则包含两方面的基本内涵：技术方面，要始终保持人类对机器智能的驾驭能力，避免出现人类不可控的机器智能；社会方面，要建立充分的治理能力，保证人工智能应用不会导致违背优先性原则的结果。

技术方面，什么样的机器智能是可控的，是一个新的科学问题。通常受到最多关注的可控性问题是：与人相同种类的机器智能是否始终是人类可控的？本文依据优先性原则阐述了禁止这种机器智能的必要性。以下只考虑具有另类性的机器智能的可控性。

目前已知的是，人工智能强力法技术是可控的，训练法（包括大模型）不是完全可控的，而是部分可控的，比如人类无法完全控制训练结果。于是，有必要进一步考虑不完全可控AI技术的潜在风险的大小。一般情况是，通用性越强，则风险等级越高，所谓的通用大模型具有目前已知最高等级的风险，如重大公共安全风险和重大民生安全风险。

在社会层面，人工智能的可控性问题尚未受到应有的重视。当前人工智能有两条发展路径。第一条路径是高成本+闭源。假如个别通用大模型的应用包揽了大部分私域数据，相关企业就会成长为巨角兽，即员工人均盈利超过10亿美元的企业。进一步发展就会变成巨角兽经济，即全部生产由巨角兽企业承担的经济体。这种经济体中，劳动力结构由三个族群构成：有工作族，可能最多只有3万人，这些人是社会的建设者和直接责任人；投资族，可能只有几十人，那时不需要现在这么多投资人了；无工族，全国总人口减去3万，这些人领取全民基本收入，不参加生产，也不参与管理。所以，这条路径的结果就是大资本独占的超级寡头经济，是违背优先性原则的。

这个例子表明，人工智能时代的数字鸿沟扩大化可以极端到何等境地。更加值得警惕的是，这条路径只需走到一定阶段，比如社会形成对个别大模型的普遍依赖，之后便将难以回头，这时的人工智能应用就已经失控了。

第二条路径是低成本+开源，这是中国DeepSeek推动起来的路径。开源是有规则的共享，大家在遵守规则的前提下共同研发、共享成果。所以这条路径是普惠性的，一旦走通了，第一条路径就走不通了，不会再出现利用大模型技术的超级寡头垄断，所以全球多数机构不约而同地迅速响应和支持。这是中国人工智能对世界、对人类的一个重大贡献。

但第二条路径仍然存在着巨大风险。尤其值得警惕的是，更快的大规模推广应用有可能导致风险更快地发生。最严重的是重大公共安全风险，以及相对较小规模的民生安全风险（即就业替代）。我国现阶段应聚焦低风险、高效能的垂直领域的AI应用，停止不必要的机器换人。有必要的机器换人集中出现在传统制造业、农业等领域，其他领域机器换人的必要性需要具体研判。其他挑战包括AI生成的虚假/虚构信息、数据安全、用户隐私保护等。为了保证可控性，需要开展人工智能伦理审查。

风险防范只是人工智能治理的一个次要方面，主要方面是创建与智能革命时代相适应的创新和经济发展方式。我曾提出公义创新和公义经济的设想。“公义”的基本理念是以合理的、普遍性的个人需求的公正满足为社会的共同义务。而熊彼特创新和熊彼特经济则以生产效率和经济效益为唯一决定性驱动力，与工业革命的效率闭环互为表里。在公义创新和公义经济中，生产效率和经济效益不再是唯一决定性驱动力，因为智能革命不是用更强大的技术手段在旧世界里展开更残酷的“内卷”，而是颠覆旧世界，再造新世界。

公义创新和公义经济不是空想，过去几十年里已经出现了一些早期萌芽，如时间银行、开源软件运动、互联网内容创业、共享经济。我们需要进一步研究六个方面的课题：评价体系升级、创新要素组合机制升级、社会参与模式升级、风险治理模式升级、职业道德升级、社会治理体系升级。