经济学人丨尤瓦尔·赫拉利：人工智能已侵入人类文明的操作系统

历史学家尤瓦尔·赫拉利。

原文截图

人工智能已侵入人类文明的操作系统

尤瓦尔·赫拉利（Yuval Noah Harari）

自计算机时代开始，对人工智能的恐惧就已困扰人类。迄今为止，这些恐惧主要关乎使用物理手段杀戮、奴役或替代人类的机器。但过去一些年，新的人工智能工具出现了，从一个人们没有预料到的方向威胁到人类文明的生存。人工智能已获得了一些非凡的能力，可以操纵和生成语言，不论是用文字、声音还是图像。因之，人工智能已侵入我们文明的操作系统。

语言是构成几乎所有人类文化的物料。譬如，人权并没有被刻写在我们的基因里；毋宁说，它们是我们通过讲述故事和拟定法律创造出来的文化产物。诸神并非物理上的现实；毋宁说，它们是我们通过发明神话和拟定圣典创造出来的文化产物。

货币也是一种文化产物。纸币只是五颜六色的纸张，目前90%以上的货币甚至并非纸币，只是电脑中的数字信息。赋予货币价值的，是银行家、财政部长和加密货币专家讲给我们的故事。山姆·班克曼-弗里德（Sam Bankman-Fried）、伊丽莎白·霍姆斯（Elizabeth Holmes）和伯尼·麦道夫（Bernie Madoff）不擅长创造真正的价值，但都是能力超群的故事讲述者。（山姆·班克曼-弗里德，生于1992年，是加密货币交易平台FTX创始人兼首席执行官，正遭到多项商业欺诈罪指控。伊丽莎白·霍姆斯，生于1984年，是已停止运营的医疗技术公司Theranos创始人兼首席执行官，因欺诈投资者的罪名获刑11年。伯尼·麦道夫，生于1938年，卒于2021年，庞氏骗局操纵者。三人均为美国人。——译注）

一旦一种非人类的智能变得比一般人类更善于讲故事、创作旋律、绘制图像、拟定法律和圣典，什么事情会发生？当人们想到 Chatgpt 和其他新的人工智能工具时，他们经常会被一些例子所吸引，比如学校里的孩子用人工智能写论文。假如孩子们这么做，学校系统会怎么样？但是这种疑问忽略了大局。别管学校论文了。考虑一下2024年的下一次美国总统竞选，试着想象一下人工智能工具的冲击：这些工具可以为新的邪教大规模生产政治内容、虚假新闻故事和圣典。

近年来，邪教团体“匿名者Q”（QAnon）围绕匿名在线信息聚集起来，这种信息被称为“ Q 豆”(Q drop)。该组织的追随者收集、尊崇这些Q豆，并将它们诠释为一种神圣文本。据我们所知，以前所有的Q豆都由人类组成，机器人程序只是帮助传播它们，但将来我们可能见证历史上第一批邪教团体，它们的饱受尊崇的文本是由一种非人类的智慧生物书写。历史上的宗教声称它们的圣书并非源自人类。这很快就会成为现实。

在更庸常的层面，我们或许很快就会发现，我们自己在网上与一些我们认为是人类但实际上是人工智能的实体，就堕胎、气候变化或俄罗斯入侵乌克兰等议题进行了冗长的讨论。麻烦在于，我们花时间试图改变人工智能机器人公开表达的见解，这是完全没有意义的，而人工智能机器人可以极为准确地打磨其信息，乃至于大有可能影响到我们。

通过掌握语言，人工智能甚至可以与人类形成亲密关系，并利用这种亲密的力量改变我们的见解和世界观。虽然没有迹象表明人工智能拥有任何自己的意识或情感，但要培养与人类的虚假亲密关系，假如人工智能可以令人类感到已在情感上依附于它，那就足够了。2022年6月，谷歌工程师 Blake Lemoine公开宣称，他正在研究的人工智能聊天机器人Lamda已变得有了感知能力。这一争议性的说法使他失去了工作。关于这一插曲，最有趣的地方不在于Lemoine先生的说法，那可能是错误的；毋宁说，最有趣的地方在于，他乐意为人工智能机器人而蒙受丢掉自己赚钱的工作机会的风险。假如人工智能之影响人类，已可以令人们蒙受丢掉工作的风险，它还能诱使人们做什么呢？

在争取人心的政治斗争中，亲密关系是最有效的武器，而人工智能刚刚获得了与数百万人大规模生成亲密关系的能力。我们都知道，在过去十年间，社交媒体已成为控制人的注意力的战场。随着新一代人工智能出现，这个战场正从关注转向亲密。当人工智能与人工智能为伪造与我们的亲密关系而交火，而那些亲密关系随后可以被用来说服我们投票给特定的政治家或购买特定的产品，这时，人类社会和人类心理将发生什么变化?

哪怕没有形成“虚假的亲密关系”，新的人工智能工具也将极大影响到我们的见解和世界观。人们可能会享用单独一个人工智能顾问，将其当成一位无所不知的一站式圣哲。难怪谷歌惶恐不安。既然我可以问一下圣哲，那为何还要费心搜寻呢？新闻和广告业也应惶恐不安。既然我可以问一下圣哲，请它告诉我最新的消息，那为何还要看报纸呢？当我可以请圣哲告诉我该买什么的时候，广告的意义又在哪里？

而哪怕是这些预测，也没有真正捕捉到全局。我们正在讨论的是人类历史的可能终结。不是历史的终结，只是其人类主导部分的终结。历史是生物学和文化之间的相互作用；是我们对食物和性之类事物的生物学需要以及欲望，和我们的宗教和法律之类文化创造物之间的相互作用。历史是法律和宗教塑造食物和性的过程。

当人工智能接管文化，并开始生成故事、旋律、法律和宗教时，历史的进程会发生什么？过往的印刷机和收音机之类工具帮助传播了人类的文化主张，但它们从来没有形成自己新的文化主张。人工智能则完全不同，可以形成全新的主张、全新的文化。

起初，人工智能可能会模仿人类原型，它在婴儿时期就是这样被训练的。但随着时间的推移，人工智能文化将冒险步入人类从未涉足过的领域。数千年来，人类都生活在其他人类的梦想中。在接下来的几十年里，我们可能会发现自己生活在某种外星智慧生物的梦想中。

对人工智能的恐惧只是在过去数十年间困扰着人类。但几千年来，一种深层得多的恐惧已困扰着人类。我们往往欣赏故事和图像操纵我们的思想和制造幻觉的力量。因此，自古以来，人类就惧怕被困在一个幻象的世界。

十七世纪，勒内·笛卡尔惧怕的是，可能有一个恶魔正将他困在一个幻象的世界内部，创造出了他所看到和听到的一切。在古希腊，柏拉图讲过一个著名的洞穴寓言: 一群人一辈子都被锁在一个洞穴当中，面对一堵空白的墙，一只屏幕，他们看到形形色色的阴影被投射于其上。囚犯们误认为，他们看到的幻象就是现实。

在古代印度，佛教和印度教的智者指出，所有人类都受困于Maya，即幻象世界。我们通常认为的现实，往往只是我们自己头脑中的虚构。人们可能发动整个战争，杀戮他人，且自己愿意被杀戮，因为他们相信这样或那样的幻象。

人工智能革命正让我们直面笛卡尔的恶魔，直面柏拉图的洞穴，直面Maya。假如我们不小心，我们就可能被困在一块幻象的幕布之后，我们无法扯掉它，甚至无法意识到它的存在。

当然，人工智能的这一新能力也可以用于良善的目的。我不会详细讲这一点了，因为开发人工智能的那些人说得足够多了。像我这样的历史学家和哲学家的工作就是指出危险。但可以肯定的是，从寻找治疗癌症的新药方到发现生态危机的应对之道，人工智能可以在无数方面帮助我们。我们面对的疑问是，如何确保新的人工智能工具用于良善的方面而不是坏恶的方面。为此，我们首先需要理解这些工具的真正功能。

自1945年以来，我们已经知道，核技术可以为人类生成廉价的能源，但也可以从实体上摧毁人类文明。于是，我们重塑了整个国际秩序，以保护人类，并确保核技术主要用于善事。我们眼下必须对付一种新的可以毁掉我们的精神和社会世界的大规模杀伤性武器。

我们仍可规范新的人工智能工具，但必须迅速行动。核武器无法发明更强大的核武器，但人工智能可以制造出越来越强大的人工智能。第一个关键步骤是，要求强大的人工智能工具在被释放到公共空间之前进行严格的安全检查。正如制药公司不能在测试某种新药的短期和长期副作用之前发布这种新药，技术公司也不应在某种新的人工智能工具被安全开发出来之前就发布这种工具。对新技术，我们需要一个相当于食品药品管理局（FDA）那样的新监管机构，我们昨天就需要了。

放慢人工智能的公共部署不会导致民主国家落后于更无情的威权政权吗？恰恰相反。不受监管的人工智能部署将造成社会混乱，而这将有利于独裁者，并毁掉民主。民主是一种对话，而对话仰赖语言。当人工智能入侵语言时，它可能摧毁我们进行有意义对话的能力，从而摧毁民主。

我们刚在地球上不期而遇一个外星智慧生物。我们对其知之甚少，只知道它可能会毁灭我们的文明。我们理当停止在公共领域不负责任地部署人工智能工具，并在人工智能规范我们之前先规范它。我大致会建议的第一条规定是，强制要求人工智能披露它是人工智能。假如我正在与某人交谈，而我无法分辨对方是一个人还是人工智能，那就是民主的末日。

本文是人的创作。

或者，真的是？

（作者是耶路撒冷希伯来大学历史学系讲师，著有《人类简史》。本文原题“Yuval Noah Harari argues that AI has hacked the operating system of human civilisation”，见于《经济学人》印刷版“By Invitation”栏目，2023年5月6日至12日一期，4月28日上线。手绘题图为原文所有。译者听桥，对由一款软件生成的原译文有修正……）

 《经济学人》2023年5月6日至12日一期封面