刘慈欣对话节选：人工智能什么时候控制人类？可能已经悄悄开始了

在2018年的IDG资本闭门私享会上，IDG资本与科幻文学创作者、《三体》和《流浪地球》作者、IDG资本首席畅想官刘慈欣进行了一场大开脑洞的对谈，其中不乏许多上帝视角的想象，例如关于人类的未来、人与人工智能、虚拟与现实、脑机接口与基因改造问题；另一方面，投资人与作家也就一些现实热点话题展开了探讨，比如马化腾的知乎提问，马斯克的火星计划等等。

以下是关于人工智能的部分对谈内容节选：

过以宏：现在从投资、创业各个角度都会碰到一个概念，就是人工智能（AI），IDG资本也是全球人工智能独角兽企业商汤科技最早的机构投资人，我们看到很多科幻作品也在讨论这个。比如人通过机器人在改变一些事物，过程中就失控了，人工智能反过来控制和打击人类，开始作恶。目前似乎还看不到这样的失控转折点，这样的点是否真的存在，如果有，我们该如何提前捕捉到一些讯息？

刘慈欣：举一个有意思的例子，我们说人类被自己创造的某种力量控制了，或者统治了，比如AI。但我要提一个问题，此前没有过吗？也许在上古时代就出现过。比如小麦。尤瓦尔·赫拉利在《人类简史》里提出的一个观点，是我们驯化了野生的小麦成为农作物，还是野生的小麦驯化了我们。仔细想一想，可能后者更合乎情理。农民要照顾小麦，很辛苦，要给它浇水、除虫、耕地，辛辛苦苦就是为了让它一代代繁衍下去，而且繁衍的越多越好，某种程度上就是小麦控制了人类，但是我们意识不到这一点。你说人工智能什么时候控制人类，可能现在已经悄悄开始了。

我前两天去了一趟雄安新区，那边的超市没有店员，酒店没有柜员，都是自动化的。街上行驶的都是无人车，送快递、送外卖都是自动的，这个可能就是你说的一个节点吧。

过以宏：如果再往前延展一点，从科幻电影来说不光是不知不觉的控制，而是要作恶，取代人类，把人类作为他们的工具。

刘慈欣：要达到电影里面的强人工智能，在现在看来中间还有很多技术障碍。现在的人工智能，前面有多少智能后面就有多少人工。所以说距离真正的人工智能离那一步还差的很远。真正的智能是什么呢？

举一个例子。大家都知道图灵测试（编者按：指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果有超过30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。）

现在很多机器已经通过图灵测试了。但我不这样认为，真正的智能是什么呢？这个机器能通过图灵测试，但他假装通过不了，这才是真正的人工智能。还有比如说AlphaGo赢了柯洁，这个也不叫人工智能，它就该这样，那就是他最擅长的东西。真正的人工智能是什么，他赢不了柯洁，恼羞成怒，拿起棋盘往柯洁脑袋上砸，这个才是。但是到这一步，人工智能还很远。

牛奎光：台下很多科技企业CEO，特别关心科技的发展。关于科技加速发展的问题，您如何思考？技术越来越进步，同时也带来了很大的焦虑，那么快速进步是一个好事吗？

刘慈欣：我觉得不管好事、坏事，进步肯定不能停止，这是我们生存必需的。而且技术本身，用凯文·凯利的话说，本身就是自我进化的东西，无论如何都是要进步的，不以我们的意志所转移。除非发生某个不可预料的灾难，社会肯定会进步。

你的问题本质可能在于，人在不断进步过程中，所处的位置是什么样的。人的位置肯定是渐渐变得没有用处了，以后可能会出现所谓的“无用阶级”。

从目前来看，最需要人做的工作，基础科研。但有一个很令人担忧的趋势，传统的研究思路越来越多被大数据所取代，而对大数据的分析不是靠人分析，是靠机器分析，就是科研中相当一部分工作是由机器来完成的。这种情况如果发展下去也是十分可怕。

牛奎光：这确实是很可怕的事情。在数据化的生存状态之下，一个新的关于公平和自由的问题是，当人越来越多被数据化以后，数据的拥有方和产生方之间存在着巨大的不平等，拥有方甚至逐渐拥有垄断性的力量。

再举个例子，比如说导航，此前是人类看了路线自己做决定，现在导航每次做决定比人好以后，人类慢慢就不做决定了，导航说怎么走就怎么走。机器是收集全局的信息，进行全局的优化。人变成一个局部的信息，做局部的优化，人类很可能干不过机器。慢慢机器可能变成一个超级力量，而个体变成一个小力量，可能到这样一个时间点事情就失控了。

公平和自由的定义分别发生了什么样的变化？大刘您怎么看？

刘慈欣：这个问题是两方面的：一方面大数据确实侵犯到个人隐私或者自由，被少数人操纵可能造成对个人权力的某些损害，甚至发生更严重的事情。但是另一方面，大数据也好、IT技术也好，有另一面常常被忽略。它在人类历史上前所未有的提供了一个机会，每个人有了向整个社会发表意见的机会。个体有直接的渠道让自己的声音被所有人听到，这是整个民众的意愿，它会在网上形成前所未有的力量，这个力量是相当巨大的。

牛奎光：您刚才也提到人会变得越来越没用、越来越宅，《三体》也写到。

刘慈欣：现在已经是了。

牛奎光：技术对人在这个方面的改变会是什么样的？

刘慈欣：首先这个改变没有办法，现在人们对人工智能的未来最担心的，其实有点走偏了。无论是学者、政治家还是普通民众，最担心的就是刚才所说的，智能机器逐渐代替人的工作，在这个方面提出了两个可能性：

一个可能性很黑暗、很可怕，我们和机器的关系理不顺，大量的人失业找不到工作，社会越来越动荡，19世纪的卢德运动，一帮人砸毁机器，现在可能就是破坏网络、砸毁电脑。长期的动荡下去，这是一种可能性。

另一种光明的可能性是，人和机器终于理顺了关系。建立了新的社会分配制度，让机器代替了大部分事务，同时给每一个人更富足、更优裕的生活，工作时间大幅度的减少，甚至不用工作。这是两种可能性，他们认为前面一种很黑暗的可能性，后面一种是很光明，我认为恰恰相反。

如果前一种可能性发展下去，整个人类因为AI抢了工作，乱七八糟，到处打砸抢，社会动荡。虽然不是一个好事，但是至少社会还能正常发展下去，因为人类历史上这种事情多了。如果真的出现后面那种事情，我们的社会分配制度、经济制度、政治制度发生彻底的变化。

之前人类文明发展所有的动力都是我们生存的愿望、改善的愿望，每个人都有这样的精神动力。假如这个动力突然没有了，“不劳者不得食”改变了，整个人类社会可能从精神上完全失去力量。当然有人会说，我们没有工作了，我们可以从事艺术和科学，这个是想当然而已。少部分人会的，但大部分人不会的，不信可以试一试。

过以宏：挺有意思，思考为创业者提供新的机会。本身我们请大刘来做IDG资本畅想官也是想有更多思想碰撞，帮助激发更多想象力，希望在中国，科幻的力量也能成为创新的重要来源之一。

牛奎光：我沿着大刘的思路，在已有的宇宙规律之下考虑人与机器的关系，还是假设人这个事情是稳定和不变的。现在有很多基因技术，人已经开始尝试自己改造自己了，这个其实是完全不同的。之前的基因改变都是靠突变，这个突变的概率很低，十几万分之一，几百万分之一突变，改变一下。但是人改变自己的基因之后，或者改变动物的基因之后，这个多样性有可能一下子就爆发了，如果再加上您说的技术也不可逆，改变可能拉不回来，听上去是一个非常可怕的场景，也可能导致人类很快就玩完了。

刘慈欣：你说的有两点：一个是人改造自己的基因，第二个就是人建立了某种接口与机器结合。

牛奎光：是的，虚拟与现实。

刘慈欣：这两点确实，可能是人类历史上真正的转折点。

举一个例子，比如把一个石器时代、原始时代的尸体放到停尸房，验尸官基本不会发现异常，他认不出这是一个古代的人，因为跟现代人在各方面都极其相似，甚至是智力上。一个石器时代的人如果让他生活到现在，只要教会他认字完全可以生活，其实我们就是原始人，只不过是生活在现代环境中。

但一旦我们介入了自身的进化，科学技术真的侵入到人类生物学特征上，这个改变即便是科幻小说也很难想象。很可能会把我们的价值观，我们的社会、文化、哲学彻底改变。

比如现在各种亚文化作品里的“第三种性别”的人类，在21世纪以前有谁能想得到？

牛奎光：既然说到哲学问题，究竟现在的科技发展是让人变得越来越强，还是因为人变得越来越弱而不得不进行的一种智力进化？

刘慈欣：我认为人是越来越强，包括我们的生存能力，其他能力也好。即便生存能力很强的细菌，也是借助外界的力量支持自己的生存，他也要从周围提取能量。

而人类能够作为一个社会来协同，一旦协同起来就变成地球上最致命的物种。当年的智人没有科学技术，但是能协同；智人到了哪个大陆，哪个大陆的物种都开始大量的灭绝，包括剑齿虎、猛犸象这些都被他吃了、杀了，这是很厉害的。

牛奎光：我在知乎上看到过一个问答，“有什么让你细思极恐的问题”，当时有一个回答大意是这样的——机器比如电脑，机器因为天然的联合，会比个体的人和人之间的联合更有效率，最后达到的就是机器不需要意识就可以把人干掉。当时我看了之后吓出一身冷汗，这个您怎么看？

刘慈欣：我承认机器协同联合的效率确实比人高很多。

牛奎光：求存还是付诸于感性，以后我们可能全都是机器了，这样想一想是非常冷冰冰的。

刘慈欣：如果真是那样的话，也就是现在还没有发生的进化进程。假如人类只是一个生存阶段，然后你所创造的东西在地球创造出更好的智慧、更高的文明，那也没有办法，我们只能作为中间的一个形态。

牛奎光：一个过渡形态。

刘慈欣：对。

牛奎光：这个还是蛮悲观的。

刘慈欣：不是，我们之前已经发生过了。人类作为哺乳动物之前有很多了，包括刚从海里走到陆地上的一群两栖动物也是早就灭绝了，这是一个自然而然的过程。