人类要保证超级人工智能处于所谓绝对安全状态，几乎是不可能的？

【本文来自《张伟强：如何应对AI内生安全风险，避免沦为“硅基文明”的奴隶》评论区，标题为小编添加】

从科学哲学上来讲，人类要保证超级人工智能处于所谓绝对安全状态几乎是不可能的。

超级人工智能其信息处理能力、准确度、处理速度等等都远远超越人类。而信息处理已经在人类所有领域无处不在。

我们假设人类制造了一个超级能量装置，这个装置有两个按钮。

绿色按钮是用超级能量发电服务造福于人类。

红色按钮是使得装置自我爆炸，把整个地球毁灭，杀死整个人类。

很显然，在这个超级装置的影响下，人类只有两种前途和命运。而这两种前途和命运仅仅只取决于人类选择哪一个按钮。而人类无法保证得到这个超级装置的人如何选择。

假设中超级能量就是指超级人工智能能够代替人类编写各种软件代码，或者做出各种研究、计划、做出决策··········全面超强的替代人类的智能。然后其制造者告诉它，你必须实施一个长期的计划，利用自己的智能和信息处理能力等等把特定的人类全部消灭。也就是说这个超级人工智能制造者选择了红色按钮。

上面的假设就是超级人工智能的安全困境。超级人工智能对人类的危害程度只取决于它有多大的智能，而不在于如何确保人类做出正确的选择。因为人类有意志自由。举一个例子，人类无法保证核战争不会发生！