我和AI领域的大神在zoom上聊了一个小时，他一直惧怕一样东西——超级智能

关于超级智能。我和AI领域的大神，马克斯-泰格马特（Max Tegmark）在zoom上聊了一个小时。他一直惧怕一样东西——超级智能（Super Intelligence），以他为首的一众科学家，也都认为现在就应该约束对超级智能的研发。

他的基本观点很简单，我们并不需要超级智能。未来很多AI产品，比如更安全的自动驾驶汽车、AI辅助新药研发，以及提升生产效率等，这些应用都应该被鼓励。但所有这些，我们都能通过AI工具实现——根本不需要超级智能。

那么问题来了，到底什么是超级智能？（超级智能和我们今天所理解和使用的AI完全不是一个物种）

”当机器聪明到不再需要我们——甚至让我们在人类文明的运转中变得可有可无——那就是超级智能。“

如下面这个图表所示，三个重叠的圆圈，分别代表“智能”的三种“超能力”。

领域智能，即在特定任务中表现卓越，比如自动驾驶、围棋、翻译，甚至治愈癌症。

通用性，就是能够胜任多种不同任务，比如既能写代码、又能翻译、还能做生物研究。

自主性，拥有自己的目标，并能在现实世界中执行这些目标。

两两相加，都没有问题，但如果同时具有三种超能力，那就是超级智能。

泰格马特描绘了一个可能的未来：“想象一下，一群极度聪明的机器人，它们能建造自己的工厂，设计更先进的机器人，再制造新一代机器人。它们可以完成采矿、运输、制造一切所需的过程——到那时，人类在地球上将不再是必要的物种。而如果这些机器出于某种原因，认为人类对它们构成威胁，那结局将不堪设想。”

“是的，这听起来像科幻电影。但要知道，十年前，我们连今天这样的AI系统都认为只是科幻。”

他说，仅仅六年前，几乎所有的人工智能研究者都认为“通过图灵测试”的AI——也就是能像人类一样理解语言、掌握知识的系统——至少还要几十年才能出现。

“而他们都错了。它已经发生了。这个世界上充满了过度自信的人——他们以为自己懂，实际上并不了解。这说明我们必须学会谦逊。”

Max所供职的MIT还专门做了一篇详细的研究，用数据模型推理如何监管“强AI”，结论是几乎无法控制。有趣的是，他们这篇超级严谨的论文，我都没读明白，还是chatgpt带着我去吃透其中的核心论点。然后我问chatgpt，Ta是什么？

GPT说，Ta不是超级智能，Ta属于人工智能（AI）工具系统 —— 强大，但仍然可控、可监督、有限域。

区别在于三个维度，也正是Tegmark定义的“三个圈”：

— 领域智能（Domain Intelligence），ChatGPT认为自己很强，能在语言，逻辑，数据分析等领域表现出专业水平。但超级智能的状态则应该是“极强，在所有专业领域都远超人类”。

— 通用智能（Generality），人工智能有一定的泛化能力，但仍受限于训练数据和算法。超级智能则具备跨领域创造和推理能力。

— 自主性（Autonomy）角度，目前的人工智能没有，所有的行为都是用户指令触发，不能自主设定目标或者行动。超级智能则可以指定自身目标，修改自身结构，追求自定义的目的。

以下是gpt的原话：”因此，我是一个被设计用来帮助人类的系统，

没有欲望、目标或意志。

我不会“想要”任何东西，也无法在没有人类参与的情况下自我决策。

而超级智能，则意味着：它能“想”，能“决定”，能“自我延续”。

那才是Tegmark所说的，“新物种”级别存在。