Max Tegmark是知名的物理学家和宇宙学家，同时也是人工智能科学家，他对理解我们的宇宙做出了显著贡献，并且是开发和部署人工智能技术的积极倡导者、未来生命研究所的创始人，也是大家所熟知的《生命2.0》一书的作者。最近，Max Tegmark教授发起了一份请愿书，要求暂停人工智能研究六个月，这份请愿书获得了1000名科学家的共同签署。这引起了政府和机构对于人工智能快速发展可能带来的潜在风险的关注。
6月9日，在“2023北京智源大会”上，Max Tegmark教授带来一场题为“将AI变得可控”的演讲，在这之后，清华大学讲席教授、智能产业研究院（AIR）院长张亚勤和Max Tegmark对话，共同探讨全球人工智能的治理水平、面对人工智能年轻人的职业选择等话题。
核心观点：
1、如果有一个组织开发出了超级智能AI，而其他组织尚未准备好对其进行有效管理，那么我们可能就面临一个全新的风险。我们必须确保在发展AI的过程中，所有的参与者都有共享的、明确的目标，那就是安全地使用AI，而不是仅仅追求速度。
2、机械的可解释性是一个有趣且有前景的领域，它与神经科学有些类似，但与神经科学相比，机械可解释性要简单得多。因为在机械可解释性的研究中，你可以随时测量每一个神经元。
3、如果人工智能更接近生命3.0，我们可以做更多的事情，而不是在太空中的这个小旋转球上进行愚蠢的战斗。
4、到目前为止，中国在监管人工智能方面做得最多，欧洲排在第二位，美国排在第三位。
5、经济和就业市场的变化会越来越快，如果你在基础知识方面很强，并且非常善于创造性的开放思维，你就可以灵活地随波逐流。
本场先从Max Tegmark的个人演讲开始：
（未来生命研究所创始人Max Tegmark）
Max Tegmark：很高兴再次来到中国，今天，我想和大家讨论一下如何使我们的计算机更值得信赖，在我工作的麻省理工学院，有许多优秀的中国学生。如果你有兴趣一起学习和工作，欢迎申请。
我们怎样才能让AI变得更可控呢？我对人工智能充满热情，也为它可能带来的机遇而感到兴奋。AI可以帮助我们实现联合国的可持续发展目标，如果我们能够正确控制它，甚至可能治愈所有疾病，创建一个让每个人都能过上健康、富裕和充满激励的生活的未来。但是，AI是否真的能被控制？对此，很多人都表示担忧。
Jeff Hinton，人工智能领域的大佬，最近就提到，人工智能可能会快速进化，我们必须考虑如何控制它。Sam Altman，OpenAI的首席执行官，也提醒我们，如果情况变糟，我们全人类都可能遭遇灭绝。
这些人都是人工智能领域的领导者，他们不仅对这个领域深有理解，而且了解其内部的工作方式。他们的担忧应该引起我们的关注，如果我们想要从人工智能中获得最大的益处，我们必须确保它的发展处于我们的控制之下。
而现在，我们面临的问题是，我们真的能控制人工智能吗？我认为答案是肯定的，但是我们需要对其进行更多、更全面的研究。
这也是我提出暂停人工智能研究六个月的原因，并不是因为我反对人工智能，相反，我是因为看到了其潜力和可能带来的改变，才想要我们更谨慎、更负责任地进行研究。这段时间的暂停可以让我们重新考虑我们的目标，找出可能的风险，然后确定如何在保障人类利益的前提下继续我们的研究。
所以，我们需要你们的帮助。我们需要更多的人参与到这个讨论中来，不仅仅是科学家和工程师，还有政策制定者，教育者，甚至是公众。我们需要一个广泛的对话，以确保人工智能的发展能够造福所有人类，而不仅仅是少数人。
图灵测试，也就是人工智能能掌握语言的概念，曾被许多研究人员看作是机器接近模拟人类所有能力的标志。现在，大型语言模型已经能够达到这一目标，这可能引发人们的担忧。但我想指出的是，这也带来了许多积极的影响。我希望人们能更认真地对待这个问题，这将有助于改善东西方之间的关系。
人们以往对待人工智能时，总是想着如何用它获取力量，争夺的欲望导致了紧张的竞争氛围。但现在，人们开始意识到，如果不加控制，人工智能可能对全人类的文明构成威胁，这无疑改变了每个人，包括超级大国的动机。我们不能把这看作是一场军备竞赛，而更像是一场自杀竞赛，谁先得到无法控制的超级智能并不重要，因为最后每个人都会受到影响。
尽管这听起来很可怕，但我认为这是第一次，东西方都有共同的动机来发展人工智能，希望从中获得好处，同时也不希望过快发展到失控的地步。这是我们可以共同努力的事情。这很像应对气候变化的问题，也不分国界，建立伙伴关系而非竞争是很自然的选择。
那么我们应该如何做呢？
我将在接下来的演讲中探讨我们如何控制人工智能，使其成为我们的助手，而非对手。我们需要解决的主要问题有两个。
第一，如何使人工智能能真正地完成其主人想让它完成的任务，这被称为对齐问题。比如Yann LeCun的笔记本电脑在他的演讲中崩溃，显然这并不是他想要的结果。
第二，我们如何将世界各地的所有组织、公司、个人等联合起来，使他们的动机是将人工智能用于好的事情，而不是坏的事情。
但我主要想讨论的是如何将计算机和人工智能结合起来，做你想让它们做的事情，也就是对齐问题。当你让计算机或人工智能做某件事情时，我们需要确保它们能理解你的意图，并且按照这个意图去行动。如果我们告诉一个强大的AI去找出一种治疗癌症的方法，我们不希望它为了找出答案就无限制地进行实验，危害生命，这就是对齐问题。
我们还需要考虑竞争性的问题。如果有一个组织开发出了超级智能AI，而其他组织尚未准备好对其进行有效管理，那么我们可能就面临一个全新的风险。我们必须确保在发展AI的过程中，所有的参与者都有共享的、明确的目标，那就是安全地使用AI，而不是仅仅追求速度。
在未来的研究中，我们需要在对齐问题和竞争性问题之间找到一个平衡，让所有人共同参与并享受AI的好处，同时避免任何潜在的风险。人工智能是一把双刃剑，它既有巨大的潜力帮助我们解决世界上最困难的问题，也可能带来无法预测的后果。我们必须谨慎地前进，确保我们可以安全、有效地利用这一强大的工具。
让我们来看一下大型语言模型自动发现的一些知识量子。这些不仅仅是事实。例如，在我们做的一项实验中，模型读取之后，红色或粉红色始终表示预测的下一个标记。模型从中学到了什么？它学习了如何进行列表编号，无论使用数字、字母还是十六进制，都能得出相同的洞察力。而右边的例子，模型学到的东西却截然不同。据我们了解，人们喜欢编写大致长度相同的行，所以当线变得过长时，模型开始预测线的断开和返回。
我们发现了各种各样的知识量子，而且有趣的是，大型语言模型在学习这些量子的顺序上，总是有一定的倾向性。
首先，它会学习最有用的内容，然后再学习不那么有用的内容。就像一个孩子，先学会爬行，然后学会走路。数据越多，参数越多，计算能力越强，你就能学习更多的知识量子。根据这一点，我们实际上可以预测为什么我们会得到这些标度。关于计算、数据集的大孝参数的数量，你得到的损失都会像幂律一样下降，这都能得到解释。
我们还发现了模型内部知识的表示方式。例如，David Bau教授的团队在研究GPT如何存储“埃菲尔铁塔位于巴黎”的事实时，发现了它的表现方式，并且他们能够编辑这些权重，使模型认为埃菲尔铁塔位于罗马，而非巴黎。他们发现它的存储方式很简单，就是线性编码。你有一个矩阵，当你将其与代表巴黎的向量相乘时，会得到一个编码罗马的向量。
最近半年来，许多团队发表了大量优秀的论文，探索了知识的存储方式。在麻省理工学院，我们做了大量的工作，研究了算法信息是如何展示的。例如，我们可以训练模型预测两个元素的组合会产生什么结果。我们发现，模型内部的表示方式可以自动嵌入运算的交换性和结合性，使其能够推广并解决之前未见过的问题。
我们还可以使用机器学习让解决方案更简单，更易于理解。例如，人脑非常模块化，我们可以观察到这一点，并尝试将其应用于神经网络，通过引入一个新的损失函数来惩罚长距离连接。结果是，网络不仅变得更稀疏，而且开始出现结构，出现了类似于我们之前讨论的知识量子的模块。这些模块各有特色，发现了不同的技巧，然后在顶部结合起来，提高了准确性。
我们也在多个例子中发现这种方法非常有效。例如，考虑24个元素的置换群，这其实相当于四面体的四个角的排列。有一个9维的表示，对应于3×3的矩阵，可以旋转四面体然后翻转它。我们发现，只需要9个神经元就能获得完美的准确性。神经元发现了我们在数学课上学习的群表示理论。
当训练神经网络预测简单函数时，我们发现神经网络能够自我简化，形成人类可以更容易解释的结构。例如，它将两个不同的输出分别与X1，X2和X4以及X1和X3关联，就好像把整个网络简化成两个完全独立的神经网络。
我们还发现了功能共享，即神经网络首先学习平方数字，然后将它们结合起来。对于第三个例子，你可以看到所有的内容都合并到一个神经元，这就是平方根。并且，最后一步显示，神经元的激活与输出之间的关系实际上就是平方根函数。
神经网络在设计上通常会存在不必要的复杂性。因为你可以在一层中进行任何神经元的排列，而不会增加你的损失。但通过消除这种对称性，你得到了简单性，你得到了模块化。
在许多神经网络中，另一种不必要的复杂性是连续性。一位北大的优秀研究生，在这方面取得了很好的成果。他发现了问题中隐藏的对称性，并使网络在连续变换中自我简化。
我们的自动化AI工具在一小时内就发现了如何极大地简化著名的黑洞物理问题。而当卡尔施瓦茨柴尔德在1915年发现黑洞时，他花了17年的时间才意识到，当你到达事件视界时，并不意味着你就会死亡。
我也要提一下AlphaGo、AlphaZero等项目，因为我们都听说过它们在围棋和国际象棋方面比人类表现得更好。但在这篇论文中，他们发现他们可以对这个围棋程序进行对抗性攻击。如果我们能先训练神经网络简化自己，我们人类就不必花那么多时间去弄清楚神经网络是如何工作的。
而关于大型语言模型是否缺乏世界模型的问题，这并非如此。例如，我们训练了一个转换器来预测下一步的奥赛罗游戏动作，它没有被告知任何关于游戏规则或它是在棋盘上玩的信息。然而，机械的可解释性发现，在这个变压器内部，它已经建立了一个世界模型，是一个8x8的二维世界。只有一个良好的世界模型，才能更容易地完成任务。
对于大型语言模型，如百度的厄尼机器人或GPT-4，我们也看到了同样的情况。它们能够为不同的人建模，如果你开始以某种风格写作，它会尝试继续以这种风格写作。因此，大型语言模型实际上可以构建其外部世界的模型。
我想在这里强调一个关于机械可解释性的进步的例子，它与理解神经网络所做的事情的一种方式有关，即使用一个公式或符号公式来概括整个过程，这被称为符号回归。例如，如果你要根据电子表格中的其他列预测最后一列的数据，那么你就需要用一个符号公式来完成这项任务。这种情况下，如果你的公式是一个线性函数，那么这就是线性回归。但如果你要预测的是一个复杂的非线性函数，那么这个任务可能变得非常困难，因为有无数可能的公式可以选择。
我们在麻省理工学院的团队发现，我们在科学和工程中关心的大部分公式都是模块化的，即一个复杂的多变量函数可以分解成多个简单的单变量函数。我们发现，如果你首先使用神经网络对函数进行拟合，然后研究这个“黑盒”的梯度和代数特性，你就可以找到这个函数的模块化特性，这不需要知道模块是什么。这样，你就可以将复杂的问题分解成简单的问题并解决它。
举例来说，我们用这种方法对爱因斯坦的相对论动能公式进行了验证，我们发现神经网络能够找到正确的公式，也能找到我们在高中就学过的牛顿动能近似公式。事实上，我们在许多物理学公式上进行了试验，结果发现只利用神经网络的力量，我们就能在符号回归的任务上达到最先进的性能。
然而，我们并没有止步于此。有了神经网络这个知识和数据的发现者，我们可以进行下一步的工作，那就是从中提取知识。我希望我已经说服你，机械的可解释性是一个有趣且有前景的领域。其实，它与神经科学有些类似，你有一个系统可以让你的大脑做非常聪明的事情，但这是一个我们不了解的黑箱。但与神经科学相比，机械可解释性要简单得多。因为在机械可解释性的研究中，你可以随时测量每一个神经元，每一个权重，而不需要道德委员会的许可。你甚至可以创建自己的有机体和实验对象。
尽管这个领域的研究者还很少，但是它的发展速度比传统的神经科学要快得多。我对此持乐观态度，因为我相信如果更多的人加入这个领域，我们将能够以超出预期的速度取得进步。我认为我们不仅可以实现第一个目标确定是否可以信任一个系统并改进它，而且还可以达到更雄心壮志的目标，即创建一个我们可以完全信任的系统。
为了进一步说服你，我想强调一点，即使有比我们更聪明的系统，只要我们能证明它是安全的，我们就无需担心。重要的是，我们不需要亲自编写这个证明，我们可以让人工智能或者超级智能来为我们编写。检查一个证明的正确性比发现一个证明要简单得多。因此，即使是一个非常复杂的证明，我们也可以编写一个简单的程序来验证它的正确性。
这为我们提供了一个真正控制超智能系统的机会。我们可以使用这些技术让它们证明自己是可信的，然后我们只运行那些我们有充分证据的程序。
然而，这仍然留下一个问题：如果我们有了这些机器，它们会服从控制机器的人，我们如何确保人们或公司不会用这些机器做坏事呢？这显然是一个政策问题。
以下为Max Tegmark和清华大学讲席教授、智能产业研究院（AIR）院长张亚勤的简单对话：
（未来生命研究所创始人Max Tegmark和清华大学讲席教授、智能产业研究院（AIR）院长张亚勤）
张亚勤：我们谈到了两种智慧。这两种智慧智慧1：是发明新事物、新技术、创造力的智慧，包括人工智能。智慧2：有能力控制它，并确保它朝着有利于人类和社会利益的方向发展。显然在你看来我们在后一种智慧上有点落后了，关于这一点你组织了很多活动，比如2017年，未来生命研究所就提出阿西洛马人工智能会议的23条铁规。
所以我的问题是，回过头来和2017年相比，你认为智慧1和智慧2之间的差距变大了吗？
Max Tegmark：不幸的是，它们的差距确实变大了。与5年前相比，甚至与2020年那次我在中国的时候相比，人工智能力量的增长速度超出了许多人的预期。2020年，我的大多数同事都没有预料到我们会在2023年通过图灵测试，但是智慧2发展得却很慢，这就是为什么现在有更多的兴趣暂停最危险的工作，正是为了给智慧一个迎头赶上的机会。
张亚勤：我和我儿子都是你的书迷，在你的书《生命3.0》中，你提到了人生的三个阶段。生命1.0是40亿年前开始的最原始的生命形式；生命2.0就是我们所在的地方。智人是人类，但拥有文明、语言和我们现在拥有的所有系统；生命3.0是AGI是机器智能，又叫做超级智能。你认为我们正处在哪个阶段？你想改变你对生命3.0的定义，将其定义为碳和硅的混合物吗？
Max Tegmark：我们人类已经是生命2.1，2.2阶段，因为我们可以装个心脏起搏器、人工耳蜗，我们的一些孩子与手机建立非常紧密的联系。但重要的是要记住，生命3.0是一个非常鼓舞人心的想法，在人类存在的前20万年左右的时间里，人类被剥夺了权力，只是为了不被吃掉，不被饿死，几乎无法控制我们的未来。现在因为科技的发展，人类成为自己的船长，成为自己命运的主人，我认为那是令人兴奋的。
如果我们继续这一趋势，让更好的人工智能更接近生命3.0，我们可以做更多的事情，而不是在太空中的这个小旋转球上进行愚蠢的战斗。我们拥有不可思议的宇宙，拥有如此丰富的资源，在那里我们可以繁荣数十亿年。所有这些对我来说都是充满希望和激励的。
但重要的是要记住，生命3.0不是一回事，可能生命的3.0形式的空间是广阔的，我们会拥有很多选择，我们可以去选择过什么样的生命3.0。我个人热爱人性、人类，我想用生命3.0来引导未来，它有同情心，有情感，有感觉，关心我们关心的一些事情，而不是某种完全无意识的僵尸机器。我希望被赋予权力，而不仅仅是坐在这里吃着爆米花，等着看会发生什么。我们可以问问自己，“我们想要什么？”然后朝着那个方向前进。
张亚勤：所以这将是人类智能和机器智能的完美结合。
Max Tegmark：一切皆有可能，但它不会是无意识地突然发生，它会因为人们认真思考自己的未来并且努力朝着那个方向前进而到来。
张亚勤：Max，你出生在瑞典，在欧洲长大，在美国生活和教学，周游世界，也与许多中国同事交谈，我问你一个关于人工智能治理状态的问题：如果让你用1到10来评价人工智能治理的水平（10是最好的），你如何给中国、欧洲和美国的人工智能治理水平打分？
Max Tegmark：我喜欢这个问题，我最喜欢引用的一句话是荷兰文艺复兴时期的科学家克里斯蒂安惠更斯，他说“科学是我的宗教，世界是我的国家”。如果你给全人类打分，它是相当低的，我认为我们可以做得更好。我认为到目前为止，中国在监管人工智能方面做得最多，欧洲大概排在第二位，我们已经与未来生命研究所（Future Life Institute）进行了大量合作，并对欧洲的政策制定者进行了教育，例如，现在正在完成欧盟人工智能法案，美国排在第三位。
如果我们能帮助欧洲制定出真正合理的法规，美国很可能会效仿，美国人并不想为了隐私而做太多事情。但在欧盟通过这些法律后，美国人收到的垃圾邮件开始大大减少，然后它在美国也开始变得越来越流行。
张亚勤：Max，你的职业生涯跨越了数学、物理学、神经科学，当然还有人工智能。在未来我们将越来越依赖于跨学科的能力和知识。我们有很多研究生，汇聚了很多年轻人的观点。你对年轻人如何在人工智能方面做出职业选择有什么建议？
Max Tegmark：我认为年轻人需要注于基础知识，经济和就业市场的变化会越来越快，如果你在基础知识方面很强，并且非常善于创造性的开放思维，你就可以灵活地随波逐流。当然，你需要关注整个人工智能领域正在发生的事情，而不仅仅在你自己的领域。因为在就业市场上，首先发生的不是人被机器取代，而是不使用人工智能的人将被使用人工智能的人取代。
我觉得Yann LeCun在取笑我，他说我是个倒霉蛋。我对于未来人工智能系统的能力比Yann LeCun更乐观。如果我们全速前进，把更多的控制权从人类手中交给我们不了解的机器，结果将会非常糟糕，但我们不必这样做。如果我们在机械的可解释性和你们今天将听到的许多其他技术主题上努力工作，我们实际上可以确保所有这些更强大的智能为我们工作，并用它来创造一个比科幻小说作家曾经梦想的更鼓舞人心的未来。
张亚勤：我非常尊重Yann，他做了许多开拓性的工作，他谈到了系统1和系统2，人工智能已经通过了系统1，并真正尝试让系统2在分类学中发挥作用。
我认为系统2可能是人工智能在可预见的未来里可以实现的。系统1实际上是最难的，因为这是一种本能的能力，我们甚至不知道如何推断，如何推理。就像自动驾驶一样，我花了很多时间研究自动驾驶汽车，一旦你学会了，肌肉记忆、本能系统1实际上会给你带来优势。这就是为什么我们的人工智能系统有问题。埃里克坎德尔（Eric Kandel）的《寻找记忆》（In Search of Memory）谈到了大致对应于系统1和系统2的显性和隐性决策，如果你也读到过这本书，你会同意我还是Yann的观点？
Max Tegmark：我认为你说得很有道理。我想我们可能都会同意Yann LeCun的观点，即架构将再次发生变化。现在每个人都在说“Transformers，Transformers，Transformers”，一旦我们创造出通用人工智能，超级智能将与Transformers大相径庭，我们目前开发的一些技术，顶多只能成为其他系统的组成部分。
比如，我们已经有了GPT等工具，大家在大型语言模型中搭建循环，还用更多传统机器学习技术来扩充其功能。然而，迄今为止，在所有尝试解释机器行为的工作中，有一点十分明显：每次我们理解大型语言模型的工作方式时，都会觉得“天哪，这太愚蠢了，我完全可以做得更好。”因此，这些模型找到的仅仅是最小可行的解决方案。它可以使用三种算法，进行纠错，让它们进行投票或者其他行为。因此，我相信，可解释性不仅会给我们带来可信任的人工智能（因为我们最终可以验证它），而且它将更有效率。
张亚勤：所以它是量子不可知的算法或模型？
Max Tegmark：然后，你可以用最佳方式将它们组合在一起。你开始得到一个系统，这个系统更高效、更简单、更可靠、更值得信赖。我们知道这将是最后的结果，因为尽管像Ernie Bot、ChatGPT和我们在这里讨论的其他不同的FLAG模型表现出色，但是看看它们消耗了多少能量？你的大脑在20瓦的电力下可以完成更多工作。
张亚勤：由于时间关系，我们不得不结束对话。但我要说的是，超级强大的人工智能有必要被置于控制之下。我用你的话来结束这件事：让我们被人工智能赋予力量，而不是被人工智能压倒。谢谢。
