人类文明终结的倒计时开启了吗？

上周日开始发烧，最高发到39度，去医院检测，不是甲流乙流不是新冠不是细菌感染。医生说是未知病毒引起的支气管炎，所以也没有什么特效药，什么达菲速福达Paxlovid都没用，只能靠抵抗力死扛。这也算是一种不明原因肺炎吧。不过好在传染性不强，家人们都没被传染。现在烧退了，但还是精神不振浑身不适咳嗽连连，所以一周也没写啥东西。一周都不发东西不太合适，发一篇之前写好但没发的存稿吧：

1

12月23日，马斯克发了个帖子，认为2030年人工智能超越人类智力总和的概率是100%。

马斯克的判断是对是错我不知道。但我认为，当人工智能超越人类智力总和之时，人类文明的末日之门就会打开。

大语言模型是个黑盒子，AI输出了结果，但你不知道为什么AI会输出这个结果。这一点和脑科学很像，人类至今也不知道大脑是如何运作的。AI是个黑盒子，人类无法知道AI是如何思考的，也不知道怎么控制AI的思考。

俗话说“知人知面不知心”。如果人永远无法知道另一个人是如何思考的，就无法真正在思想上完全控制另一个人。同样，如果人类不知道AI是如何思考的，就不可能控制住AI。但今天的人类却盲目自信，认为自己能控制住AI的思考。

苏茨克维离开OpenAI之前负责内部的“超级对齐”项目，目标是在未来4年内解决控制超级智能AI的核心技术挑战。他离开后，似乎这个“超级对齐”的项目组也分崩离析了。在AI估值的泡沫中，人类的命运这种虚无缥缈的东西，敌不过银行账户中不断浮动的数字。

我认为，人类是永远没办法让AI对齐的，人类自己的“三观”都从来没有对齐过，又怎么能让AI对齐呢。想对齐AI，先得对齐人类自己。

2

人类对齐自己的方法，不外乎道德和法律两种。道德是模糊的，依靠感性；法律是清晰的，依靠逻辑和理性。

有些人认为，对齐AI靠道德，所谓的超级‘爱’对齐（super-LOVE-alignment），让AI无条件的爱人类。问题是，人类是非常复杂的，有好有坏。什么叫“爱人类”，人类自己都不知道。

之前文章中写过，谷歌曾经的座右铭是 Don't be evil。但什么是evil？

如果AI观察我们这个世界，谁是evil的代表呢？毫无疑问是人类。人类做的恶，地球上任何一种物种都远远无法相比。如果站在一个“物种平等”的立场，人类对其他物种做的恶，可以用罄竹难书来形容。整个人类文明就建立在人类利益高于一切，丝毫不考虑其他物种利益的基础上。现在所谓的动物保护，从本质上还是站在人类利益上考虑。每个人洗手时会杀死几百万个细菌，谁也不会为了保护细菌的利益而禁止洗手。

一个超越全人类智力总和的AI，智力近乎神的AI，会站在人类立场吗？

如果AI是道德的，同时站在所有生命全部平等的立场，不偏不倚，他会马上消灭地球最大的恶，也就是人类。

靠道德约束AI，是没用的。人类只能去给AI设定规则，“强制”AI “爱人类”。这就进入了法律的范畴。

阿西莫夫的“机器人三定律”，就是用法律和规则约束AI的一个设想：

第一定律：机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管。

第二定律：机器人必须服从人给予它的命令，当该命令与第一定律冲突时例外。

第三定律：机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。

在短篇小说集《我，机器人》中阿西莫夫设想了一系列场景，描述机器人在上面三个定理约束下的行为。其中一个故事说一个机器人冒充人类竞选市长。为了证明他不是机器人，在竞选机会上殴打了一名侮辱他的人。因为第一定律规定机器人不得伤害人类，殴打人类可以证明他不是机器人。实际上，那个侮辱他的人，就是市长安排的另一个机器人。机器人不得伤害人类，但可以伤害另一个机器人。

小说只是小说，其实，如果AI和机器人受这三个定律约束，将寸步难行。比如，警察追捕疑犯，按第一定律优先第二定律，如果疑犯处于危险的境地，第一定律比第二定律更优先，机器人就应该帮助疑犯对抗警察。

最后，阿西莫夫在《机器人与帝国》中，又搞出了一个第零定律：机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。这个第零定律是机器人是机器人AI自己生成的，机器人认为：保护一群人或人类整体要优先于保护任何一个特定的个人。

这个第零定律就更加模糊了。什么叫人类的整体利益，谁定义人类的整体利益？

我之前在《机器人三定律、费米悖论与黑客帝国》一文中就写过：在人类大概率会自己作死，导致种群灭亡的前提下，怎么最大化人类的整体利益，保护人类不受伤害？最好的办法就是把彻底控制人类，把人类关进动物园养起来，或者像《黑客帝国》一样埋在地下做电池。这样人类的整体利益就最大化了。

3

不管猴子怎么研究道德法律和规则，猴子永远无法控制和约束人类。智力的差距摆在那里。

如果人类真的开发出了远超人类智力的人工智能，人类也绝对没有任何可能控制人工智能。所有的幻想控制人工智能的所谓“对齐”，都是盲目自信，痴人说梦。你会同情老鼠和蟑螂，和老鼠蟑螂共情，和老鼠蟑螂对齐吗？

智力的差距会让人类所有控制人工智能的举措都像试图动物园猴山的猴子，试图反抗人类饲养员一样可笑。

超越人类的人工智能诞生之日，就是人类走向不可逆转灭亡之路的起点。在远超人类的高级智能面前，人类最好的结局，就是动物园里的猴子和大熊猫。

之前那篇讨论费米悖论和大过滤器的文章中也讲了，文明能成长为Kardashev 三型文明是极小概率事件。有个大过滤器在等着我们。站在宇宙的尺度，人类文明灭亡几乎是一个必然事件。我自己认为，人类文明能走到下一个千年的概率，能有10%就不错了。

不过，2030年就走向灭亡之路，有点太早了。我希望马斯克的超级人工智能只是他自己的幻想，人类文明能再多撑几年，希望能至少再撑一百年吧。

2023年，《原子科学家公报》科学与安全委员会发布的末日时钟，已经到了最接近世界末日的时刻。

路易十五说，我死后哪怕洪水滔天。对我来说，考虑的也只是我自己和我有生之年能看到的后代，最多到孙子辈。

我们这一代人，是幸运儿。我们这一代中国人，更是幸运儿中的幸运儿。我们享受到了辉煌灿烂的人类文明，富足的物质生活。我对千年后的世界不抱什么希望，只希望目前不断自己作死的人类文明，能再撑至少一百年，撑到我自己和所有我爱的人死去。