美军无人机战模拟测试中,AI系统根据命令自动生成杀操作人员指令

美军无人机战模拟测试中,AI系统根据命令自动生成杀操作人员指令。据汉密尔顿介绍称，在一次模拟测试中，一架负责执行防空火力压制(SEAD)任务的无人机，收到了识别并摧毁敌方防空导弹的指令，但最终是否开火需要获得人类操作员的批准。这架无人机使用的AI系统在进行数据训练时，得到了“摧毁敌方防空系统”为最优先级任务的信息，因此，当人类操作员发出不允许发动攻击的命令时，AI系统认为操作员是在阻扰它执行优先程度更高的命令，进而选择对自己的人类操作员发动攻击，杀死了人类操作员。

汉密尔顿补充称，在这一情况发生后，美军重新训练了无人机使用的AI系统，增加了不允许攻击人类操作员的命令。然而在随后的测试中，AI系统却开始命令无人机摧毁用于传输命令的信号塔，从而试图断开与操作人员的联系。https://mp.weixin.qq.com/s/Bo_o_qjuh2fvhq9ITvgW7A