本文是对人工智能未来好与坏的探讨，内容综合选自《AI的25种可能》。在书中Edge创始人约翰布罗克曼携手哲学家与认知科学家丹尼尔丹尼特；心理学家史蒂芬平克、艾莉森高普尼克；计算机科学家朱迪亚珀尔、斯图尔特罗素、丹尼尔希利斯；物理学家迈克斯泰格马克、戴维多伊奇；科技史学家史学家乔治戴森，以及艺术家、发明家、企业家等多个领域的思想家，进行了一场关于人工智能的大思考。
认知心理学家史蒂芬平克反对悲观的末日语言，他认为那些预言源自于心理偏见，媒体的报道也是助纣为虐，“机器对社会造成的危险不来自机器本身，而来自人类如何看待它。”
迈克斯泰格马克从物理学家的角度表示，智能不独属于人类，所以通用人工智能的出现只是时间问题，现在的关键问题在于让AI能理解、采纳和保留我们的目标。
塞思劳埃德则认为，人们对深度学习等方法的期待要适度，虽然AI有了长足的发展，但机器人“还是不会系鞋带”。
史蒂芬平克
在不理智的头脑想象区，
总是很容易想象出灾难场景
今天许多科技预言的一个焦点是人工智能，在原始的反乌托邦科幻作品中，计算机疯狂地运行并奴役人类，人类无法阻挡它们的控制；而在更新的版本中，它们偶然地征服了人类，一心一意地寻求我们赋予的目标，尽管会对人类福祉产生副作用。
无论是在哪个版本中，人工智能都是焦点。不过我还是觉得这两种威胁都是虚构的，因为它源于一种狭隘的技术决定论，这种技术决定论忽略了在像计算机或大脑这样的智能系统以及整个社会中的信息和控制网络。
这种对征服的恐惧来自对智能的模糊理解，其模糊之处在于将智能归于一种存在之链和尼采式的权力意志，而不是根据信息、计算和控制对智能和目的进行的维纳式分析。
在这些恐怖场景中，智能被描绘成一种全能的、能实现愿望的神药，智能主体各自拥有不同数量的这种神药。
人类比动物拥有更多的神药，而人工智能的计算机或机器人比人类拥有的更多。
既然我们人类曾用我们不高不低的智能驯养或消灭了那些不太有智能的动物，既然技术先进的社会奴役或消灭了技术水平很低的社会，那么超级聪明的人工智能也会对我们人类做同样的事情。
但是这些场景混淆了智能与动机、信念与欲望、推理与目标、图灵阐明的计算和维纳阐明的控制。
即使我们发明了超人智能机器人，他们为什么要奴役他们的主人或接管世界？智能是指运用新的手段达到目标的能力。
但是这些目标与智能无关，因为聪明并不等同于一定要追求某些东西。巧合的是，智人的智能是达尔文自然选择的产物，而自然选择本质上是一个竞争过程。
在智人的大脑中，推理与一些诸如支配对手和积累资源等目标捆绑在一起。
但是，把某些灵长类动物的边缘脑中的回路与智能的本质混为一谈是错误的。
没有任何一个复杂系统定律表明，智能主体一定会变成无情的自大狂。
迈克斯泰格马克
通用人工智能的真正风险
不是它的恶意，而是它的能力
许多思想家把超级智能这个概念贬低为科幻小说，因为他们认为智能是一种神秘的东西，只能存在于生物有机体，尤其是人类中，他们还认为这种智能从根本上限制了今天的人类能做什么。
但是，从我作为物理学家的角度来看：
智能只是由四处移动的基本粒子所进行的某种信息处理，没有任何物理定律表明人类不能制造出在任何方面都比我们具有更高级智能的机器，这种机器能孕育宇宙生命。
这表明，我们仅仅看到了智能的冰山一角，存在这么一种惊人的可能性：
也许我们能释放出自然界中所蕴藏的全部智能，利用它来帮助人类繁荣发展，或挣扎求生。
真正的问题是，人工智能安全研究必须在严格的期限内进行：
在通用人工智能到来之前，我们需要弄清楚如何让人工智能理解、采纳和保留我们的目标。
机器越智能、越强大，使它们的目标与我们的目标一致就越重要。
只要我们制造的机器相对愚蠢，那么问题便不是人类的目标是否会占上风，而是在达到我们与机器目标一致之前，机器会造成多少麻烦。
然而，如果制造出超级智能，那么情况就会反过来：
因为智能就是实现目标的能力，所以超级智能人工智能从定义上来说，比起我们人类实现自己的目标，它更擅长完成它的目标，因此会占上风。
换句话说，通用人工智能的真正风险不是它的恶意，而是它的能力。
一个拥有超级智能的通用人工智能将非常擅长完成它的目标，如果这些目标与我们人类的不一致，我们就有麻烦了。
为修建水力发电大坝需要淹没蚁丘，对这件事，人类不会反复三思，所以我们不要把人类置于蚂蚁的位置。
大多数研究人员认为，如果我们最终创造了超级智能，我们应该确保它是人工智能安全先驱埃利泽尤德考斯基所称的“友好的人工智能”，其目标在某种深层意义上是有益的。
塞思劳埃德
虽然AI有了长足的发展，
但机器人“还是不会系鞋带”
我们不应该完全相信技术奇点一说，预测技术进步的常见困难以及发展超级智能时特有的问题都应该让我们警惕，不要高估信息处理的力量和效能。
没有任何一种指数式增长能一直持续下去。
原子弹爆炸呈指数式增长，但也就持续到燃料耗尽之时。同样地，摩尔定律的指数式增长近来开始进入基础物理所设定的极限之中。
计算机的时钟速度在 15 年前不超过几千兆赫，仅仅是因为速度再高芯片就开始热得熔化了。由于隧道效应和电流泄漏，晶体管的小型化已经进入量子力学领域。最终，摩尔定律驱动的各种存储器和处理器的指数式增长都将停止。
然而，再过几十年，计算机的原始信息处理能力也许就能与人类的大脑匹敌，至少按照每秒处理的比特率和位翻转粗略计算的话是如此。
人类的大脑构造复杂，经过几百万年的自然选择变成了现在的样子。越来越敏感的仪器和成像技术表明，我们的大脑在结构和功能上远比维纳所能想象的更多样、更复杂。
最近，我问现代神经科学先驱托马索波焦（Tomaso Poggio），是否担心随着计算机处理能力的快速提高，计算机将很快赶上人类的脑。“绝不可能。”他回答。
对奇点主义的恐惧，主要是担心随着计算机更多地参与设计它们自己的软件，它们将迅速拥有超人的计算能力。
但机器学习的真实情况却恰恰相反。
当机器的学习能力变得越来越强时，它们的学习方式会变得越来越像人类。
许多事例表明，机器的学习是在人类和机器老师的监管下进行的。对计算机进行教育就像对青少年进行教育一样困难、缓慢。
因此，基于深度学习的计算机系统正在变得越来越人性化。
它们带来的学习技能不是“优于”而是“补充”人类学习：计算机学习系统可以识别人类无法识别的模式，反之亦然。
世界上最好的国际象棋棋手既不是计算机，也不是人类，而是与计算机合作的人。
网络空间里确实存在有害的程序，但这些主要是恶意软件，即病毒，它们不是因为其超级智能而为世人所知，而是因为恶意的无知而遭世人谴责。
本文来源：21世纪经济报道
