本文来源：机器之心
人类大脑所具有的能力在某些方面要比任何宇宙中已知事物都更为强大，这一点毫无争议。大脑能够理解宇宙的存在，为什么会有无穷多质数，苹果坠落是因为时空曲率，遵循自身的生物本能在道德上可能是错误的，它也能理解自身的存在。大脑不仅是唯一能够理解上述现象的事物，它的独特还体现在这一冷冰冰的物理事实上：它是唯一能将自己送入太空，然后完好返回的事物，它能预测或预防陨石砸到自己，或者将物体冷冻到绝对零点之上数十亿分之一度，也只有大脑能够在银河远处寻找同类。
但是，对于以上所有被实现的事实和功能，这个星球上却没有一个大脑能够知道自己到底是怎么做出来的。人工地去实现它——AGI领域（AGI，artificial general intelligence，人工通用智能）——六十年来，没有任何进展。
尽管如此，AGI肯定有可能。这源于物理定律的一个深刻特性，计算的通用性(universality of computation，译者注：意思是说通过计算过程模拟自然过程的普遍可行性）。这一特点要求，只要时间和储存能力允许，通用（general-purpose）计算机上的某种程序能够模拟出物体遵循物理定律所做的每件事的任何细节。
那么，为什么这个领域却一直没有进展呢？在我看来，正如一位不知名的贤人曾经说过：「引起困惑的不是我们不知道的东西，而是我们以为知道，实际上并非如此的东西。」我想不出任何其他重要的知识领域会像这个领域一样，社会和专家中的主流智慧会如此深受根深蒂固根本错误的困扰。然而，这也是对预言——不久将来，AGI会取得终极突破——最具自信的领域之一。
1950年，艾伦·图灵预测，到2000年「人们能够谈论机器思考而毫无违和感」。1968年，阿瑟·C·克拉克预测这一情形会发生在2001年。直到今天，在对AGI的编程方面，仍然没有人超越图灵的范式。
这不会让那些对AGI可能性持反对态度的人（这个阵营的人数在减少）感到奇怪。但是，另一阵营（AGI迫近论者）也承认，失败过往亟需一个合理解释，至少能够说得通。
「AGI」这个用语就是一个合理化（解释）的例子，这个领域曾被称为「AI」——人工智能。但是，AI渐渐适合于描述各种不相关的计算机程序，比如，游戏玩家，搜索引擎和聊天机器人，直至G代表的「通用（general）」被加上去，人们才有可能再次（用这个单词）指代真实的事物，不过，现在的AGI不过是指更加聪明的聊天机器人。
另一类合理化（解释）偏离了总路线：AGI一点都不牛；现在的软件已经越来越智能，不过是以非人类（non-human)方式，而且我们太虚荣、太过秉持文化上的偏见以至于无法给它应有的认可。 这一解释获得了一定支持，因为它让人想起持续流行中文化相对主义的非理性以及相关修辞：「我们人类以身为动物典范而骄傲，但是这种骄傲放错了地方，因为动物也有着语言、工具……以及自我意识。」还记得电影《终结者》中计算机系统（天网，Skynet）变得具有「自我觉知」 而被如此关注吗？
那只是另一种哲学上的错误观念，本身足以屏蔽通往AGI的任何途径。事实上，现在的软件开发员能够直接为计算机编程，让它具有行为意义上「自我觉知」——例如，通过「镜子测试」 （mirror test，利用镜子推测关于自己的事实）——如果他们希望如此。就我所知，没人这么做，很可能因为这实在无关紧要。
自我觉知之所以会因其与AGI的联系而获得不应有的名声，原因可能在于任何一种自我参照都有这样的名声：迷信般的神秘性（woo-woo mystery），这还要感谢哥德尔定律（哥德尔不完备定理，1931年提出，哥德尔证明了任何一个形式系统，只要包括了简单的初等数论描述，而且是自洽的，它必定包含某些系统内所允许的方法既不能证明真也不能证伪的命题。——译者）和二十世纪各种形式逻辑争议（为我们揭示出这一真相）。意识（consciousness）也是如此。而且为了描述意识，我们又会遇到术语模糊的难题：意识这个术语的含义太广泛了。
在这个（含义广泛）术语的一个极端，有个关于主观感觉的本质，即「感觉质（qualia）」的哲学问题，这与AGI难题紧密相连；不过，另一方面，「意识」不过是麻醉状态时所失去的东西。许多动物当然也有这种东西。
未来，AGI确实会有自我觉知——但是，那是因为他们会变得通用（General）：他们能觉知到各种深刻而微妙的事物，包括它们自己。那并不意味着通过镜子测试的黑猩猩被暗示具有「通用智能（general intelligence）」特征，AGI是这种「通用智能（general intelligence）」的人工版本。确实，Richard Byrne对大猩猩模因（memes)的精彩研究已经揭示出，黑猩猩如何能相互学习有用的行为，却不理解这些行为的意义：对黑猩猩认知原理的解释实际上是行为主义的。
讽刺的是，合理化阵营（AGI已经完成了/不重要/在黑猩猩中也存在/是一个文化虚构）的观点正是那些源于「AGI不可能」阵营观点的镜像。针对每个类似观点「你做不出AGI，因为你永远没法为灵魂编程，因为它是超自然的」，「AGI容易实现」阵营中的合理化观点会认为，「如果你认为人类认知与黑猩猩有本质不同，你一定信仰超自然灵魂。」
「我们至今所不可实现的是…『人类智能』」，这是另外一种合理化（解释）。这种解释的代表性人物是哲学家John Searle（他属于「不可能」阵营），他认为在计算机诞生之前，蒸汽发动机和后来电报系统都曾被用来隐喻人类心智的工作方式。他认为，AGI可能仅存在于类似脆弱的隐喻上，亦即心智「本质上（essentially）」是计算机程序。但是，那并不是一个隐喻：计算的通用性(universality of computation)遵循已知的物理定律。
有些人认为，大脑使用了量子计算，甚至使用了以量子理论无法解释的物理现象为基础的超量子计算（hyper-quantum computation），这就解释了为什么在现有计算机上创造AGI会失败。我和量子理论领域绝大多数研究人员都无法苟同那就是人类大脑拥有独特功能的原因之一，不过详加解释已经超出本文的讨论范围。
AGI是「人」，从一开始就是该概念的暗含之意。如果有一个程序，哪怕缺少一个人类特有的认知能力，那么，从定义上说，它就就不是AGI；使用非认知性特征（ non-cognitive attributes）（比如碳含量的百分比）来定义人格，是种族主义的做法，赞同有机大脑优于硅大脑。但是，能够做出新解释是「人」（人类和AGI）的独特功能具有道德和智力上的重要性，他们借由推测和批评做出新的解释，这一事实改变了一切。
如今，人格（personhood）更具象征意义，而非真实意义——如同一种荣誉，作为某个实体（黑猩猩，胎儿，公司）是人，以实现某种哲学或实践目的承诺。这并不好。请不要在乎这些术语，如果乐意，你可以改变它，对不同的实体都尊敬有嘉，使他们免于伤害及其他。那个客观标准定义下的真实人类与其他实体之间的区别具有重大的道德和实践意义，对包括AGI在内的文明功能也非常重要。
比如，不是计算机而是运行的程序才是人——仅这一事实就会提出一个未解的哲学难题，一旦AGl存在，这个难题就会变成现实的政治争议。因为一旦AGI在计算机上运行起来，再从计算机上剥离它无异于谋杀（或者至少会是错误的监禁），就像从人体剥夺掉他的思想。但是，和人体不同的是，仅需按钮，一个AGI程序就能复制到许多台计算机上。
虽然他们的运行步骤相同，但是，那些程序是同一个人还是多个不同的人？一个投票权还是多个投票权？删除程序是谋杀，还是较轻的攻击？如果一个流氓程序员在一台或者多台电脑上编制出成千上万个不同的AGI人群，也许这是违法的，会发生什么？他们都是人，享有人权。他们都能拥有选举权吗？
而且，考虑AGI，如同思考其他有创造力的实体，我们必须忘掉单词「程序」的全部既有含义。将AGI视为任何其他计算机程序会带来类似洗脑，奴役，暴虐的效果。这对小孩也同样残酷，因为和其他编程行为不同，「编程」一个已经处在运行中的AGI意味着教育。这会引发道德和事实层面的争议。忽视AGI的权利与人格，不仅是邪恶的化身，还会制造灾难：有创造力的存在不能永远被奴役。
有些人想知道，我们是否应该欢迎新的机器人负担，并且/或者如何装备他们的程序，让其本质上对人类无害（就像阿西莫夫的「机器人三定律」），并且/或者防止他们掌握将宇宙变为回形针的理论。那都不是问题。 事实一直如此，生产力、经济能力、智力，无论哪个方面， 单个特别有创造力的人（的能力）都成千上万倍于绝大多数普通人；而且这种人如果将自己的能力用来作恶，会祸害无穷。
这些现象与AGI没关系。善恶之间的思想斗争和人类物种一样古老，还会继续持续下去，无论智能在什么事物上运行。问题在于：我们总是希望善的智能总能击败恶的智能，生物智能击败人工智能；但是我们错了，我们自己的「善」的概念需要不断发展。社会组织结构如何发展才算合理呢？「控制所有的智能」是一个巨大的错误，「控制所有看起来不同于我们的智能」也好不到哪里去。
我们必须停止使用的含义之一就是将（人类或类似AGI的）教育视为指令（instruction)——作为一种不加变更灌输既有知识的手段，让既有价值得以遵从。正如波普尔写道的（在科学的发现的语境下，它既适用于AGI编程也适用于孩子教育 ）：「没有(不受认知框架影响的)指令…我们不是通过复制而发现新事实或新影响，也不是从观察中归纳推导出它们，或者用任何其他依靠环境指导的办法发现新事物。 毋宁说，我们的办法是试错。」（译者注：这是波普尔在其《The Myth of the Framework》中说的话）也就是说，推测和批判。学习一定是指新创造的智能为自己行事和控制自身。
我没有突出所有这些哲学论题，因为我担心在人类发展出理解AGI并将之融入人类文明的哲学解释之前，AGI就被研发出来了。这一担心出于几乎完全相反的原因：我确信，研发AGI的全部问题就是个哲学事实，而不是计算机科学或神经生理学问题，而且哲学研究进展是AGI未来融合的关键，它也是把研发AGI放在首位的先决条件。
错误观念阻碍了AGI的发展。没有了波普尔的认识论，我们甚至没办法开始猜测成就AGI必须实现什么样的细节功能。波普尔的认识论并不为众人所知，更别说充分理解并加以运用了。为了把经验，奖赏与惩罚翻译成想法（或者更糟，翻译成行为）而将AGI视为机器，这如同通过平衡身体幽默来治愈传染病：没用，因为它源于古老且错得离谱的世界观。
如果没有理解AGI功能和其他任何一种计算机程序功能存在质的不同，那么，这个人就是在完全不同领域工作。如果一个人努力制作出其「思维」天生就无法违背先决约束的程序，那么，这个人就是在设计定义智能存在，比如一个人的特征，也就是创造力。
清除这一障碍不会自动得出结论。然而，获得答案也不全然很难。既然人类能够设定目标而黑猩猩没有这一能力，理解这一能力质的不同就为我们提供了信息：如何获取这一能力，答案肯定被编码进了人和黑猩猩DNA的相对少量差异中。因此，在一方面，我赞同AGI迫近阵营的观点：有理由认为我们和突破之间仅隔着一个想法。但是，这个想法必须是最好的想法中的一个。
