在最近上映的《复仇者联盟2：奥创纪元》中，人工智能奥创立志要消灭人类。按照奥创自己的话说，“我本来是被设计用来拯救世界的”，但它最终得出结论，“只有一种方式能够得到安宁：人类灭绝”。
科学家们在人工智能上取得的进展让许多人担心，我们可能马上就能创造出比人类更智能的人工智能了。如果人类确实能开发出超级人工智能，我们怎么才能防范不出现一个奥创纪元呢？这也是牛津大学人类未来机构主席 Nick Bostrom 所关注的问题。要知道，伊隆·马斯克、史蒂芬·霍金以及比尔·盖茨等杰出的科技人士纷纷对其表示了支持。
Bostrom 称奥创想要通过灭绝人类来拯救世界的行为是“不当实现”，即人工智能通过违反定义其终极目标的程序员的意图来实现其终极目标。比如，如果有人要求人工智能模仿人笑，人工智能或许会尝试控制面部神经来一直保持微笑。但如果这个人又要求人工智能让我们快乐，人工智能或许就会在我们的神经中枢里植入电极了。
Bostrom 表示，如果没有经过深思熟虑，即便是明显无害的目标也会毁灭人类。比如，如果一个人工智能的任务是验证黎曼假设，它可能会试图将整个太阳系变成一台计算机来实现这一目标，那些关心这一问题答案的人的身体也会成为这台计算机的一部分。
管束超级智能正如雷锋网一篇文章中所言，也许有人会说，笨人工智能的威胁要比超级人工智能的威胁更现实。然而，即便超级人工智能还很遥远，Bostrom 对此也持谨慎态度，称人们不应该心存侥幸。笨人工智能也许会犯下战争罪行或摧毁股票市场，但超级人工智能也许会终结文明。Bostrom 表示道：“在某些人创造出超级人工智能之前解决这一问题很关键。我们现在就应该开始做这一控制问题的研究，因为我们不知道这一问题究竟有多难，也不知道我们究竟还剩下多少时间来找到一个解决方案。”
Bostrom 表示，防止超级人工智能摧毁世界有两大类方法。一是控制人工智能的能力，比如防止其连接互联网或操纵机械臂等实体。
尽管限制超级人工智能的能力在开发超级人工智能的初期很有用，“我们不可能永远限制住超级人工智能”，Bostrom 表示道。比如，超级人工智能也许会找到方法来绕过人类看守员逃出“盒子”。人类不是保安系统，尤其是在对抗超级人工智能时。
修改目标相反，Bostrom 建议塑造超级人工智能想要做的事情，这样哪怕它们能造成巨大损失，也不会选择这么干。其中一种方法是直接设置人工智能需要遵循的规则，比如艾萨克·阿西莫夫著名的机器人三定律。然而，这涉及到我们该选择什么规则来指导人工智能，以及如何以代码形式表现这些价值。
第二种方法是只给人工智能设定适当的不那么雄心勃勃的目标。然而，人们也必须考虑如何让人工智能对世界产生最小影响。第三种选择是不创造超级人工智能，确保其天性仁慈，然后再将其补全为超级人工智能，同时确保它不会在这个过程中性情大变。
Bostrom 提到的最后一种方法是，让超级人工智能自己找到一种让自己安全的方法。不管怎样，这种方法需要先开发出一个能知道我们想要什么，而不是按照我们所说的行事的超级人工智能。
不过，哪怕是这种方法可能也无法阻止机器人灭世。Bostrom 称：“这还不足以让人工智能了解我们的价值；其激励系统也必须以这种方式构建，从而让它有动力去追求我们的价值。”
