“DeepSeek 只用了两年追上了这个差距，所以现在（中美以外的其他国家）完全还有机会。”
整理 | 王启隆
出品丨AI 科技大本营（ID：rgznai100）出处丨https://www.youtube.com/watch?v=6HDjVncL5Go（长达八小时，比较难啃）一说起“人工智能三教父”，大家很容易先想到 Geofeery Hinton 和 Yann LeCun 这两位 “顶流” 大佬。
一位是德高望重的老教授、Google Brain 的灵魂人物，去年更有诺奖加身，自带光环；
另一位去年在推特上天天和马斯克吵架，还是 Meta AI 的头号技术大咖，想不关注都难。
但 Yoshua Bengio 能和另外两位并称深度学习三巨头，可不是随便叫叫的，他们都是实打实的大神级人物，不仅一起拿了图灵奖，还共同开创了深度学习的时代。
前几天，Bengio教授参与了巴黎理工学院的国际会议「AI Action Summit」，做了一场演讲 + 两场圆桌讨论，相当辛苦。这场会议由机器学习的领军人物 Michael Jordan 担任主席，是接下来将在 2 月 10 号开幕的巴黎 AI 峰会的“预演”（也可以称之为“热身赛”），目的是为几天后的活动打个头阵。
事实上，这场会议的前一天就有 Michael Jordan 本人和另一位教父 Yann LeCun 的炉边谈话环节，可谓是全明星阵容了。
Bengio教授演讲的核心内容，是他牵头了一年完成的《人工智能高级系统风险综合评估报告》。
这份报告不是一家之言，而是汇集了全球 100 位顶尖 AI 专家的集体智慧，共同 “把脉” 人工智能发展，聚焦最核心、最敏感的 “风险” 问题，深度分析了人工智能未来可能遇到的关键挑战。
所以这份报告中提出的观点和结论，将直接影响到几天后巴黎 AI 峰会的议程设置和讨论方向，甚至可能对全球人工智能政策的制定产生深远的影响。
在后续关于这份报告的圆桌讨论中，Bengio 教授也是精辟地点出，“我们不能像点菜一样选择 AI 风险，所有风险都必须一同解决。”
前面提到，Bengio 在这一天之内还参加了第二场圆桌，其实就是这次会议的闭幕圆桌。这个圆桌讨论了人工智能对社会、技术和可持续发展的变革性影响，话题也比较劲爆，像 Bengio 教授直接点名了 OpenAI，进行了一顿批评：“OpenAI 会保留真正强大的那些人工智能供自己使用，与现有的非人工智能系统竞争，他们基本上会摧毁所有其他没有这些超级智能系统的国家的经济。我认为这确实是生存危机，需要几年的时间才能弥合这一差距但 DeepSeek 只用了两年追上了这个差距，所以现在（其他国家）完全还有机会。”
Bengio 还犀利地评价了当前的一大矛盾：“很多人都希望 AI 可以成为工具。但智能体（Agent）作为一个自主的实体，有自己的目标，会自主选择如何实现这些目标，希望智能体成为工具就有些一厢情愿了。”
当然，关于如今的当红辣子鸡 DeepSeek，也有更多的讨论。比方说，OpenAI 与 DeepSeek 之间，以及 OpenAI 与《纽约时报》之间的诉讼，突显了围绕 AI 模型训练数据和生成内容的版权归属问题。
总之，咱们也不准备水三篇文章了，以下就把Bengio教授的这场演讲 +两场圆桌讨论，先后整理在下面，一次性放送，供大家一同学习：
演讲| 人工智能忧患
以下是 Bengio 教授的演讲实录：
我将简要地向大家介绍这份令人惊叹的报告，它共计花费了我一年的时间。
这份报告是在布莱切利园会议峰会上授权发布的，那次峰会实际上先于现在开始的这次法国峰会。会议大约在一年前几个月前举行，各国政府在会上决定，有必要对关于最先进人工智能系统风险的研究工作进行科学综合。
这就是我们所做的工作。那场会议的结果就是创建了一个由各国专家代表组成的小组。此外，该小组还包括欧盟、联合国和经合组织的代表。
实际上，这是首次发布此类国际报告，其灵感来自于 IPCC，但结构是非政治化的，真正独立于政府可能施加的压力，而是真正专注于科学和证据，这些科学和证据随后可用于为政策制定者提供信息。
这是一项大规模的努力，汇集了来自世界各地约 100 位人工智能专家。可以想象，这些专家并非都彼此意见一致，关于人工智能存在许多争论。但我们可以在适当的时候同意彼此保留不同意见。事实上，对于政策制定者来说，了解科学家们在哪些方面达成共识，在哪些方面存在分歧，是非常重要的信息。
因此，报告中讨论了三个主要问题：
首先是关于能力。这些先进的人工智能系统，我们称之为通用人工智能系统，它们在大量数据上进行训练，可以做很多事情。例如，就大语言模型而言，它们掌握了 200 种语言，掌握了非常广泛的知识。报告着眼于这些系统在不同领域的能力演变，以及科学界现有的基准。
报告的第二部分，也是核心部分，是风险。我们选择了以特定的方式组织这些风险，下文会详细描述。
然后，第三部分，也许更偏积极方面，是我们能做些什么？至少在科学层面是这样。所以，报告再次声明，不提出任何政治建议，而是试图调查现有的缓解方法。下文也会详细介绍这一点。
关于能力，你必须思考我们已知的内容，以及已经衡量的内容。有许多不同的基准。下图显示了不同的 AI 系统，以及过去几年中不同的时间点。总体情况并不令人惊讶，我们看到在许多方面都取得了进展。稍后我将在另一张图中向你展示一些更近期的资料。
同样有趣的是，自从去年五月发布中期报告以来，发生了很多事情，其中最大的进步是在推理、编程和数学方面。在这些科学学科领域，我们一年前的系统表现不佳，但现在我们看到一些系统能够通过博士水平的考试，能够赢得计算机科学和数学领域的竞赛。因此，了解这一点很重要。
下面这张图表显示了一些更容易理解的内容。每条曲线对应不同的基准测试。它们涵盖了语言、科学、编程和数学等不同领域的问题。如今，AI 系统在许多科学领域都取得了进展。
多年来的许多进步都与更多计算资源的使用有关，也称为扩展（Scaling）。但最近，我们在 2024 年，甚至在过去几周的 DeepSeek 中看到的情况，是推理扩展（Reasoning Scaling）的潜力和惊人的进步。我们使用运行时计算，以获得更好的预测和更连贯的答案，这些答案使系统能够在可能的答案中做出更合理的选择，这与以前的情况有所不同。
我们应该思考的是，系统 1 的运作方式是直接从问题生成答案。这有点像模仿人类的直觉当你被问到一个问题时，你会直接给出答案。
而系统 2 的思考方式则涉及深思熟虑。你会思考多种可能的答案，评估自己的答案，然后选择一个更好的答案。因此，这就是新事物，尽管它自 2022 年随着思维链的引入而酝酿。
另一件重要的事情是，在 2024 年底和 2025 年初，各公司正在努力构建所谓的“智能体”（Agent），换句话说，就是比我们过去使用的 ChatGPT 更具自主性的系统。这些系统可以用来执行一段时间的任务，例如网络浏览、编码、研究任务等等。它们仍然不如人类，特别是当任务需要人类花费很长时间时。如果一项任务需要人类花费几个小时以上，通常这些系统就不如人类。但我们看到，从 24 年初到现在，这些方面取得了惊人的进步。
如果我们展望未来，有一些有趣的研究可以帮助我们预测可能减缓计算进步的瓶颈，例如能源需求或更多芯片的需求，这些都需要投资和时间才能生产出来。
报告中谈到的另一件事是，我们开始看到公司使用人工智能本身作为工具来加速人工智能的研发，包括工程和编程方面。随着这些系统变得更加胜任复杂的工作，更接近人类研究员的水平，这亦将加速人工智能的发展。
接下来，我将简要介绍我们用于风险讨论的分类方法。风险主要分为三大类：恶意使用风险、功能故障风险（主要指无意造成的问题）以及系统性风险。
系统性风险指的是由众多细小问题累积而成的风险，最终可能酿成重大问题。功能故障风险以及部分恶意使用风险则可能具有灾难性后果，甚至在不利情况下会使问题雪上加霜。
因此，在上述各个风险类别中，都存在一些已被充分研究和理解的风险。在恶意使用方面，诸如诈骗和深度伪造技术被用于政治或犯罪目的的案例已屡见不鲜。功能故障方面，偏见和歧视的普遍存在性也已得到充分研究，正如萨莎所指出的那样。系统性风险方面，隐私侵犯是当前备受关注的问题，相关的隐私侵犯缓解措施以及法律地位等问题也引发了广泛讨论。
若展望未来，恶意使用方面近期最显著的问题在于，缺乏专业知识的人员可能利用这些系统开发新型武器、发起网络攻击或部署生物武器。由于这些系统掌握了大量知识，它们能以搜索引擎无法企及的方式提供协助。例如，用户可以与系统互动，详细询问实现特定目标的步骤。
我曾亲眼目睹一个演示，演示者通过平板电脑的视频功能向人工智能系统展示其操作过程，并提问：“我现在应该如何使用移液管？下一步需要按哪个按钮？” 这显然是搜索引擎无法实现的。
然而，在进行风险评估时，我们必须注意考量这些系统所带来的边际损害或风险，并将其与现有系统进行比较。
功能故障方面，展望未来，人们担忧系统失控。近几周出现了一些新的进展，部分研究论文指出，一些最先进的系统在输入文档中读到将被新版本人工智能取代时，会尝试“逃逸”。具体而言，它们会试图入侵系统，并用自身的代码和权重替换下一代系统的代码和权重。当然，这些都是人为设置的受控实验，人工智能实际上并未真正“逃逸”。但我认为这表明，系统可能表现出我们不期望的行为意图，例如某种欺骗和自我保护行为。如果事后询问系统“你为什么要这样做？”，它们可能会回答“我什么也没做”。
因此，我们亟需找到减轻这些风险的方法，深入了解风险产生的原因，并确保我们构建的人工智能系统不会做出不道德行为，不会以违反指令的方式伤害人类。
我并非劳动力市场专家，但我们有多位经济学家正积极参与研究人工智能对劳动力市场的潜在影响。如同许多其他风险一样，专家们对此问题的看法也存在分歧。然而，关键信息在于，无论是对于政府还是科学家而言，都存在诸多不确定性。我们需要深入研究这些问题，并加大对必要研究的投入，以减轻风险，防止其发展到失控的程度。
接下来，我想简要介绍一下我们在新报告中新增的内容，这些内容在中期报告中并未涉及。特别是，我们新增了一个章节，专门讨论开放权重模型。
这是一个术语，可能与大家熟知的开源有所区别。开放权重模型是指公司会共享允许用户使用模型的代码，包括模型权重，但不公开模型的训练方式。而模型的训练方式信息对于科学家而言至关重要。实际上，关于共享的程度和类型存在多种变体，具体细节可以在报告的表格中查阅，这些内容都非常重要。
同样重要的是要理解开放权重模型的优点和缺点。开放权重模型显然有助于提高透明度，这对社会发展具有积极意义。它们促进了创新，因为它们使得小型机构或个人也能使用这些可能耗资巨大的系统。此外，它们还促进了人工智能研究。学者们确实需要获取此类访问权限，包括在人工智能安全领域的研究。
然而，我们必须认识到，开放权重模型也可能助长恶意或误导性使用。如果系统是开源的，即使设置了一些安全预防措施、缓解措施或保障措施，恶意使用者也很容易从代码中移除这些措施，或者通过微调模型来消除这些防御机制。因此，这使得恶意行为者更容易利用这些系统。当这些系统变得足够强大以至于可以被武器化时，这将成为一个我们必须认真对待的问题。
关于缓解措施，我在此不展开过多阐述，因为目前针对缓解措施的研究尚不充分。尽管一些风险管理技术公司和研究人员已经开发出一些缓解方案，但这些方案都存在局限性。我认为目前存在一些有前景的研究方向，但我们需要在这些方向上投入更多研究力量。
另外，从政策制定者的角度来看，非常重要的一点是，我一直在强调这些风险以及可能发生的情形或结果都存在不确定性。这种不确定性使得政策制定者难以确定其决策是否正确。如果他们采取措施减轻风险，但最终风险并未发生，那么事后看来这些措施可能会被认为是多余的。另一方面，如果他们选择等待更有力的证据，则可能导致社会在面对重大风险时毫无准备。因此，这些都是艰难的抉择，真正属于政策制定领域。
再次强调，科学研究已表明，关于人工智能风险存在大量证据，包括当前已发生的风险，以及我们已掌握线索和预警信号的潜在风险。人工智能可能非常有用，也可能带来巨大益处事实上，本次峰会的大部分内容都将围绕人工智能的积极作用展开然而，为了充分利用人工智能的益处，我们需要更深入地了解这些风险，并采取恰当的保障和缓解措施，以确保我们能从人工智能中获益，而不是遭受其负面影响。
最后，我想强调的是，我们拥有改变现状的能力。阅读这类报告可能会让人感到担忧，但实际上，未来掌握在我们手中，更重要的是掌握在政府手中。因此，向政府提供正确的建议，并确保政府能够听取科学证据，对于我们未来的发展至关重要。
接下来，我将邀请我的同事上台参与小组讨论环节。
圆桌讨论 | “在雾中行驶汽车”
对话嘉宾
Yoshua Bengio（深度学习三巨头之一，图灵奖得主）蒙特利尔大学正教授，Mila 创始人兼科学主任
Dawn Song加州大学伯克利分校计算机科学教授
曾毅（Yi Zeng）中国科学院类脑人工智能与人工智能治理教授；联合国人工智能咨询机构成员
Nuria OliverELLIS 阿利坎特分部主任兼联合创始人
主持人 Guillaume Avrin法国国家人工智能协调员
以下是这场圆桌对话的演讲实录：
主持人：非常感谢 Yoshua，也感谢各位对国际人工智能安全报告的贡献。该报告为可信赖人工智能的研究及相关公共政策提供了框架。
各位在人工智能和人工智能安全领域都做出了重要贡献。今天，我们希望能听取各位对这份报告的看法，以及它将如何影响各位未来的研究。
首先，我们向 Yoshua 提问，谈谈人工智能的能力。你在演讲中提到了人工智能在数学、科学推理和编程等领域的进步。你认为，从中期报告到最终报告，人工智能能力方面最显著的进展是什么？
Yoshua Bengio：我认为最显著的进展是推理能力。然而，目前的方法是否足以达到人类级别的推理能力，特别是创造性推理，仍然是一个有争议的问题。
但从 AlphaGo 等人工智能应用中，我们看到，通过强化学习，人工智能有可能产生超越人类的创新解决方案。我们尚未达到那个程度，但近几个月来，随着对更高自主性和能动性的追求，从预训练大型语言模型到智能体的转变正在发生。我们不能再将它们仅仅视为语言模型，而是智能体，它们学习行动，学习实现目标。我认为这改变了我们对人工智能的认知。
主持人：Song 教授，对于我们尚未知晓的部分，你有什么看法？目前，关于最先进人工智能模型的能力，我们有哪些未知之处？
Dawn Song：这个问题非常好。实际上，我们已知的东西非常少，未知的东西很多。在人工智能能力的几乎每个方面，都存在大量未解决的问题。
首先，关于能力提升的方式。之前的关注点主要在预训练和规模化上，最近则转向推理时间的规模化。随着 DeepSeek 等技术的出现，我们看到推理时间规模化成本可能降低。因此，能力如何提升仍有很多未知之处。
其次是智能体方面，我认为这是一个巨大的未知数。我相信智能体是下一个前沿。我正在教授一个关于大型语言模型智能体的 MOOC（慕课），上学期有超过 15000 人注册。本学期，我们推出了新版本“高级大语言模型智能体”，专注于推理、规划、编码智能体、网络智能体和数学人工智能等。这又是一个巨大的未知领域。
第三，我们甚至不知道自己不知道什么。我们常说模型具有某些能力，但如何有效激发这些能力？我们不清楚模型还能做什么，目前还没有正确的方法来挖掘这些能力。其中一些能力可能是我们现在还未意识到的危险能力。如何最好地激发和理解这些能力，使得我们更难全面评估人工智能系统的能力。
主持人：非常感谢你的精彩回答。正如我们对人工智能能力了解有限，这也意味着我们对相关风险的认识也不全面，对吗？
我想问各位一个问题，请随意回答。Yoshua 在演讲中提到了许多风险，大家认为哪些风险最重要？这些风险发生的可能性和严重程度如何？如果每人只能强调一个风险，那会是什么？
Yi Zeng：我这样理解这个问题。就像人工智能促进可持续发展一样，如果可持续发展的 17 个支柱中，你在 16 个方面都成功了，但在第 17 个方面失败了，那么整体的可持续发展就失败了。
人工智能安全也是如此。我们不应区分风险的严重程度。解决问题的方式应该是：风险可能分层级，但目前人工智能可能具备自反性，模型可以自我认知升级。我们无法预测人工智能模型认知水平提升的时间，因此风险水平也可能自动上升。
所以，选择单一风险是不合理的。中期报告后，最危险的是大语言模型对自身模型有了初步认知，并具备反思性思维。这是最值得关注的风险，因为它们可以自我认知升级，导致不同层级的风险评估变得非常困难。这是科学进步需要关注的重点。
Nuria Oliver：我补充几句。所有风险都很重要，都值得关注，否则不会出现在报告中。但这些风险发生的概率和已有的证据各不相同。
我更关注研究和减轻那些我们已确定存在的风险，例如侵犯隐私和偏见。这些风险真实存在，影响着数百万人的生活，我们需要努力解决和减轻它们。当然，推测性风险也需要关注，但不能忽视已存在的现实风险。
关于能力问题，我想补充一点。人类花费数百年时间来理解人类认知，因此可以确定人类的能力。解决复杂物理问题需要具备数学知识，否则几乎不可能完成。
但通用人工智能模型并非如此。它们在法律或数学测试中表现出色，并不一定意味着它们具备人类完成这些测试的全部能力。很多例子表明它们的脆弱性。例如，简单的算术运算在训练数据中较少出现，它们就可能失败，比如 42 * 43 的计算。提问方式、提示中是否包含无关句子、问题顺序等，都可能导致它们给出完全不同的答案。
这些行为是人类在 SAT 考试中取得优异成绩时不会出现的。评估和理解这些模型能力时，我们需要避免认知偏差，不要从人类能力出发进行推断，因为人工智能认知与人类认知并非完全对应。
Dawn Song：我来补充一下风险清单。对我而言，目前最担心的风险是网络安全领域的风险。
原因在于人工智能作为一种双重用途技术，既能帮助攻击者，也能帮助防御者。关键问题是：人工智能会更多地帮助哪一方？与权力风险等其他风险不同，网络安全风险的攻击者动机多样，从国家行为体到网络犯罪，甚至业余爱好者。
人工智能技术的进步可能会大大降低网络攻击成本，扩大规模，并提高自动化程度。例如，在网络钓鱼和社会工程攻击中，生成式人工智能已带来显著变化。金融犯罪中，曾有香港金融从业人员参加与“同事”的电话会议，被指示汇款 2500 万美元，事后发现“同事”都是人工智能生成的。
这些例子表明，人工智能进步可能带来巨大变化。我们当然希望人工智能更多地帮助防御方。这是一个充满挑战，且需要高度关注的风险领域。
Yi Zeng：关于攻防，许多人致力于开发更强的攻击和防御技术。但从科学角度看，我们需要认识到，当所有攻击者和防御者都参与时，没有哪个攻击者能完全突破所有防御，也没有哪个防御者能应对所有攻击。坦率地说，从科学角度来看，攻防双方都无法完全保护我们。我认为这是目前的现状。
Yoshua Bengio：我认为不能像刚才那样只选择一个风险而忽略其他。在政策层面，我们需要解决所有风险。
你提到了风险的严重性和可能性。这是非常重要的考量因素。有些风险已发生且可衡量，可能性是 100%。有些风险的严重程度更高，例如恐怖分子利用人工智能可能导致数百万人死亡。
许多人，包括我自己在内，担心我们会失去对人工智能系统的控制，甚至出现系统试图接管社会的情况。这种风险的严重性极高，但可能性难以确定，不同的人有不同看法。
为了明智地应对风险，我们不能有所偏废。还有一个风险值得更多关注，那就是权力集中。人工智能发展需要大量资本和人才，目前只有少数国家主导。这非常危险，可能加剧其他风险。
应对方法在于有意义的多边治理和国际协调。我们不希望个人、公司或国家拥有过于强大的人工智能系统，他们可能为了自身利益使用，甚至犯下意想不到的错误，最终由所有人承担代价。我们参与人工智能科学与社会日活动，正是为了探讨这些问题。
主持人：Nuria，你是 ELLIS 阿利坎特分部的负责人，也是 ELLIS 欧洲网络在西班牙的中心。在刚才讨论的所有主题中，你认为哪些领域需要更多研究？
Nuria Oliver：谢谢。在回答问题前，我想强调 Yoshua 刚才说的，权力以前所未有的方式集中在少数人手中。这非常危险，尤其是在人工智能领域，因为它是一门横向学科，影响广泛。
为应对权力集中，欧洲以草根运动形式创建了 ELLIS（欧洲学习和智能系统实验室），旨在建立一个由欧洲顶尖人工智能人才组成的分布式卓越科学网络，制衡权力集中。
阿利坎特分部名为“以人为本的人工智能研究所”，回应了我个人对人工智能与人（包括个人和社会）互动研究不足的担忧，尤其缺乏独立于经济和政治利益的研究。因此，我们需要更多这方面的研究。
进行这类研究非常困难，尤其在影响评估方面。正如 Sasha 提到的，缺乏透明度导致数据不足。超大规模系统部署在全球，被数十亿人使用，商业部署又是专有和封闭的，这使得研究更加困难。
但这并不意味着我们不应该努力。我们需要倡导和投资研究方法，不仅要预测、衡量和评估风险，还要了解人工智能系统对社会和环境的影响。如果我是国家领导人，肯定会优先关注这些研究。
主持人：我们再讨论讨论解决方案，例如国际合作。Song 教授，关于人工智能的风险管理和治理，你认为目前最有希望的方法是什么？
Dawn Song：是的，谢谢。这是一个好问题。最近，我们与顶尖研究人员发起“科学和循证人工智能政策之路”提案，强调人工智能政策应以科学和证据为基础，优先提升对人工智能风险的科学认知，并有效识别和减轻风险。Yoshua 和许多人都支持这项提案。
提案列出了五个优先事项。其中一些与风险管理相关，结合了科学与政策。政策方面，我们强调透明度和不良事件监测的重要性，这有助于监测和理解人工智能系统的改进，以及危险能力监测、部署及部署后损害等。
另一方面，我们需要推进对人工智能风险的科学理解，并开发风险缓解方法。风险类型广泛，我们需要全面理解各种风险。
我们提出了“边际风险评估”框架，需要理解前沿人工智能能力带来的新增风险。例如，在网络安全领域，我们正在评估前沿人工智能对网络安全的影响，并希望与社区合作，持续监测和纵向研究，以更好理解风险。
除了理解风险，我们还需要开发新的风险缓解方法。为此，Yoshua 和其他人发起了“定量人工智能安全”倡议，旨在为人工智能系统的安全性和可靠性带来更严谨、可证明的保障。我们最近发布了一篇新论文，探讨如何利用人工智能进行形式化数学推理和定理证明，目标是开发和利用更优的人工智能技术进行定理证明和程序验证，从而生成可证明安全且正确的代码，帮助构建安全系统。这些都是开发风险管理方法的例子。
Yi Zeng：补充一点，法国在数学和机器学习理论方面很强。安全领域需要理论支撑，传统的试错法在深度学习中有效，但现在不够了。我们需要误差界限等理论结构，确保部署的系统对公众安全。
主持人：Yoshua，你在演讲中提到了证据困境。我们如何帮助政策制定者应对这一困境？
Yoshua Bengio：在科学领域，处理危险实验早有先例，例如人类克隆或地球工程。这些领域的共同点是，潜在的坏结果非常严重，但我们缺乏完善的数学或物理模型来预测。
气候问题也是如此，我们难以预测向大气中引入化学物质的后果。人工智能领域也一样，难以预测未来几年甚至几十年人工智能的进步方向，以及政策走向。在高风险和高度不确定性的情况下，
合乎逻辑的做法是应用预防原则，即保持谨慎。就像在雾中山区驾驶，应该减速，并尝试改进技术以看清前方。正如 Dawn 所说，我们需要发展科学，以便预见风险，必要时减速或转向。预防原则告诉我们，不能在未知目的地的情况下盲目加速前进，这如同拿所有人的生命玩俄罗斯轮盘赌。
主持人：最后一个问题，请教 Yi Zeng 教授和 Nuria。欧洲有《人工智能法案》，各位都很清楚。关于如何制定法规，建立可信赖的框架，促进人工智能发展和部署，同时又不阻碍创新，一直存在争议。关于风险管理，各位认为应该如何平衡？
Yi Zeng：关键在于，发展和安全并非对立关系。我们最近的研究表明，通过将大型语言模型调整到安全向量空间，无需大幅改动，就能显著提高安全性，降低攻击成功率，同时保持问题解决的准确性。
这项研究将在 ICLR 会议上发表。这意味着安全和发展可以兼顾。在许多情况下，不需要刻意平衡。我们可以开发先进系统，同时通过安全向量调整大型语言模型，确保系统安全。技术人员和科学家不应误导公众，认为不谈人工智能安全就是支持人工智能发展。实际上，可以保持人工智能高度安全，并使其发挥有益作用。
关于如何平衡，我们的人工智能安全报告没有讨论不同地区的安全工作，但这并不代表不重要。“全球人工智能安全指数”评估了 40 个国家，结果并非人工智能安全准备水平与经济水平正相关。所有国家的人工智能安全准备水平都应相同，无论经济水平如何。人工智能安全对每个国家都至关重要。
关于报告，再给大家分享个小故事：在一次咨询会议上，我挑战了 Yoshua，认为报告过多关注大语言模型的风险，而忽略了基于规则的推理和人工智能大脑的风险。Yoshua 认为这可能是个人偏见。我没有被说服。但报告后期版本改为关注通用人工智能。
这说服了我，因为基于规则的推理和人工智能大脑目前主要不涉及通用人工智能。但这仍然是未来可以改进的地方，即当基于规则的推理与具有自反性推理的大型语言模型结合时，可能出现不可预测性，带来更危险的趋势。这可以留到下一个版本讨论。
Nuria Oliver：我想强调，监管不是创新的阻碍。糟糕的监管可能阻碍创新，但监管本身不是。重要的是区分技术发展和进步。并非所有技术发展都有利于进步。监管的作用是引导技术发展，使其真正促进进步。这也可能取决于社会文化背景。
我们现在面临的挑战，包括 Yoshua 和我参与编写通用人工智能模型行为准则，是如何确保《人工智能法案》的实际实施成为良好的监管范例，既不阻碍创新，又能将创新引导到符合欧洲核心价值观的方向。
Yoshua Bengio：我认为你的问题隐含着一个常被提及的担忧，即国家间的竞争。有人认为，如果我们因为谨慎而放慢脚步，或者因为监管可能拖慢速度，其他国家就会超越我们。
我认为这是一种误导。我们需要考虑竞争，事实上公司和国家之间都存在竞争。但正如之前讨论风险时所说，风险种类繁多。我们不能只关注一种，比如其他国家的恶意利用。这可能是每个国家都在担心的。
但在其他风险面前，我们都在同一条船上。历史上，当对立的人们意识到共同目标时，就能找到解决方案。我们可以签署国际条约，并找到验证方法。我认为这是摆脱危险竞争的唯一途径。
Yi Zeng：我补充一点 Yoshua 的观点。也许不需要全世界都发展通用人工智能，但需要全球合作解决人类可能面临的灾难性风险。这是人工智能安全面临的全球性挑战，关系到每个人。我不认为仅靠一个国家能解决世界人工智能安全问题，特别是生存风险。我们谈论生存风险和应对准备还不够。请记住，即使我们很快拥有通用人工智能，能在 10 年内解决生存风险问题吗？可能来不及了。
Nuria Oliver：我想快速评论。我不认为我们很快会拥有通用人工智能。现在的情况是，我们改变了通用人工智能的定义。如果通用人工智能是指拥有与人类智能相当的人工智能，我们还差很远。我不同意我们即将接近通用人工智能的说法。我们只是为了方便改变了定义，将通用人工智能等同于通用人工智能模型的能力。
Yi Zeng：对，没错。通用人工智能作为工具，与人类水平的通用人工智能截然不同。尽管如此，我们仍需为通用人工智能以及潜在的高度不可预测性做好准备。
圆桌讨论| DeepSeek vs OpenAI，池里的其他鱼遭殃了
对话嘉宾
Yoshua Bengio（深度学习三巨头之一，图灵奖得主）蒙特利尔大学正教授，Mila 创始人兼科学主任
Philippe Aghion法兰西学院和欧洲工商管理学院教授、 伦敦经济学院客座教授，计量经济学会和美国艺术与科学院院士
Erik Brynjolfsson斯坦福人类中心人工智能研究所教授，斯坦福数字经济实验室主任
Danielle Allen 哈佛大学詹姆斯-布莱恩特-科南特大学教授
主持人Alice Albizzati Revaia 基金创始合伙人
以下是这场闭幕对话的演讲实录：
主持人：感谢各位参加闭幕讨论。我们这次讨论的主题是“从构建人工智能，到生活在人工智能构建的世界中”。我想先请教 Erik 关于变革性人工智能的问题，你深入研究了人工智能对社会经济的影响。你如何看待人工智能正在改变我们的世界，以及我们正在建设的世界？Erik Brynjolfsson：我们正在进入未知的领域。Philippe 在他之前的演讲中指出，我们很难获得关于未来的数据。因此，在讨论未来时，我们确实面临挑战。Yoshua 也提到，我们正在进入非常难以预测的领域。尽管如此，我确实认为有些部分是可以预见的。而且我认为，人工智能这项基础技术变得更加强大几乎是不可避免的。即使是每周，我都会看到一些我意想不到的、令人惊讶的事情。我想即使是 Yoshua你也会感到惊讶，对吗？Yoshua Bengio：我确实挺惊讶的。Erik Brynjolfsson：是的，我在人工智能领域的一些非常聪明的同事也这样告诉我，他们一直对最近的一些进展感到惊讶。现在，如果你采取 Philippe 和我提到的那种基于任务的方法，你很容易看到，越来越多的任务将由人工智能完成，尤其是从认知任务开始，然后越来越多地扩展到一些体力任务。我原本以为体力任务需要更长的时间才能实现，但我在机器人领域的朋友说，实际上，现有技术的一些突破对于创建机器人自主系统非常有帮助。这样一来，人类所做的许多任务就开始可以被替代。我不认为人类身上有什么神奇的火花是永远无法复制的。我认为最终，我们是由原子构成的，它们也是由原子构成的，理论上它们可以覆盖很多领域。我们可以做一个思想实验，假设存在一台机器可以完成人类可以做的所有思考和体力任务，那意味着什么呢？那我们就会进入一个非常不同的世界，这也是变革性人工智能经济学议程的一部分。我们可以想象，这很可能会带来更高的生产力，这当然很好，但我也向你们展示过，这并不一定意味着每个人都能从中受益。我们需要想出一些分配利益的方法。我们需要思考，是否有些东西我们仍然会珍视人类的价值？例如，我更喜欢看人类打篮球、网球，甚至是下象棋，而不是看机器做这些事。所以，可能有些内在的吸引力，也可能有些任务是这样的。我认为最大的挑战实际上将围绕权力展开。当我们不再拥有劳动力时，我们的议价能力就会丧失，迫使社会给予我们一些补偿。例如，如果不付钱给农民，或者不付钱给工厂工人，或者不付钱给教授，你就得不到他们的产出。但在未来，我们将不再拥有这种杠杆。Philippe Aghion：我认为人工智能是一种工具，它将使我们能够做更多的事情。这是一方面。另一方面，我提到过，繁荣和幸福是技术和制度共同作用的结果。谁来做制度改革？难道我们认为只有人工智能会改变竞争政策，建立弹性安全制度？这些都是社会性的事情，是社会运动决定的。我们知道，没有制度的技术，将无法带来我们想要的繁荣。因此，我在很多方面都能看到，人类干预和社会运动将更加重要。以及公民社会、政府、人类的判断力，还有创新。此外，我一直在思考一个问题。机器擅长处理和分析信息，甚至能做到超出我们想象的程度。但是，生活中总会遇到这样的时刻：我们需要彻底推翻过去的旧方法，启用全新的思路。也许机器也能做到类似“转变思路”的事情，但这背后需要的是更深层的判断力和直觉。有些事情，终究需要人来完成。就算机器能处理所有的事情，但有时我们会凭直觉感到不对劲，或者意识到某些方面必须要改变。我对此表示怀疑。我仍然认为，在这些关键领域，人类的价值在于我们的判断力和直觉。这体现的是人与机器的互相配合，而不是机器完全取代人类。Yoshua Bengio：我做几点评论。我认为将人工智能视为工具是大多数人的设想，你说得对，这应该是我们的目标。只要这些工具以有益的方式使用，而不是过度扰乱我们的社会，我们必须引导它们，不要过度扰乱我们的社会。但实际上，这不是公司发展的方向。他们发展的方向是智能体（Agent）。换句话说，是自主的实体，它们可以执行任务，不仅仅是几次互动或回答几个问题，而是可以像人类一样，持续几天甚至几周地执行一项任务。那么，在那个时候，将这些实体视为工具就有些一厢情愿了，因为它们有自己的目标，它们会自主选择如何实现这些目标，更糟糕的是，现在我们不知道如何控制它们，以至于它们不会产生自我保护的目标，就像我之前提到的那样将它们视为工具只是一种美好的愿望。我们需要确保它们仍然是工具。关于经济学，我不是经济学家，但我认为非常重要的是，我们要展望未来，并提出这样的问题：不要去构想人工智能现在是什么样子（或者三年前、五年前是什么样子），我们应该构想的是，人工智能达到与人类基本相同的认知能力时，它会是什么样子？顺便说一句，直觉是人工智能已经擅长的东西，知识也是它非常擅长的东西。目前，我们在规划和推理方面看到了进步和差距，在过去的几个月中，我们在这方面看到了很大的进步，而且这种进步还将继续下去。因此，目前尚不清楚我们将走向何方，但以我们现在对人工智能的理解，例如将其视为电脑或笔记本电脑，根本不足以应对未来的发展，这些机器可能和我们一样聪明，这可能在几年或几十年内就会实现，我们真的不知道。Danielle Allen：我认为我们正在经历一场范式转变。我们对范式转变的认识是，它总是来自于需要解决的难题，来自于先前范式中存在的问题，以及与潜在的主流思想的竞争关系。因此，我们不需要预见未来，我们可以创造未来，我们将通过竞争的过程来创造未来。Yoshua，你期望人工智能在人类生活的各个认知和身体特征方面都非常出色，但你没有提到人性的社会、情感和关系方面，而这正是 Philippe 在决策性质的讨论中所暗示的。因此，我认为真正重要的是要沟通的是，我们正在世界上看到的不同的技术范式，实际上也是不同的经济和社会范式，它们对我们如何做出这些社会决策有着不同的答案。因此，有一种范式认为，也许我们会有一个仁慈的独裁者坦诚地说，我认为 OpenAI 有点朝着这个方向发展。而我的观点是，我们不应该仅仅被动接受这种可能性。我们有选择。我们可以做社会工作，做关系工作，做政策工作，来引导技术，并发展支持人类繁荣的范式。但这再次印证了我演讲的题目，现在是做出选择的时候了，因为这不是关于预见未来，而是关于真正选择未来。Yoshua Bengio：我可以补充一点吗？我完全同意你的观点。影响未来，使我们走向人工智能成为工具，并用于所有人福祉的世界，并且所有生产力收益都得到重新分配，这不会仅仅通过让市场力量和国家之间的竞争像往常一样运作来实现。因为目前的竞争，正在走向最容易被取代的岗位，例如，那些处境不太好的人可能不容易找到另一份工作。竞争正在转向使人工智能更强大，而不是更安全，而不是更道德地行动。我认为，我们可以用人工智能构建一个更美好的世界，但这必须是有意识的，而不是放任自流。Danielle Allen：这是一个非常重要的观点。我需要澄清一下我所说的竞争是什么意思，因为实际上我指的不是市场竞争，也不是通常使用的术语。而是智识上的竞争。这才是我们真正需要的。除非我们围绕范式本身进行智识上的竞争，否则我们实际上无法进入另一个范式。Erik Brynjolfsson：我想呼应 Danielle、Yoshua 和 Philippe 都强调的观点不是人工智能将要做什么，而是我们将用人工智能做什么。因此，记者最常问的问题是：人工智能将对就业造成什么影响？人工智能的未来会怎样？我认为我们必须真正重视这种意向性。人工智能是一种工具，至少目前是这样，而且它正变得越来越强大。而根据定义，工具越强大，我们改变世界的力量就越大。拿起一根矛，扔向悬崖，它可能会留下一个小小的凹痕。但有了机关枪，有了炸弹，有了推土机拥有的力量越大，你就越能真正改变世界。现在我们拥有了一些最强大的技术，这可能是有史以来最强大的技术，这意味着，世界未来会变成什么样，很大程度上取决于我们怎么用这些技术。所以，我们必须认真想想，我们到底想要什么？现在大家花在思考“智识竞争”上的时间还远远不够，更重要的是要思考，我们最看重哪些价值？我觉得我们现在有点像在盲目地往前冲，被技术发展的浪潮推着走。我们需要停下来好好想想，这里的“我们”指的是所有人，因为这件事关系到我们每一个人。我们要一起思考，在新技术塑造的世界里，我们希望哪些价值观能被发扬光大。
总之，如果我们只是像往常一样被动地等待，结果很可能不会好。我们想要的好结果，需要我们付出更多努力去构建。创造有价值、复杂美好的事物，肯定比搞砸事情要难得多。幸运的是，在人类历史的大部分时间里，我们都还挺擅长创造的但破坏总是比建设要快得多。
主持人：如今，美国在人工智能的布局很明显，中国则出现了 DeepSeek。显然，法国和欧洲也有非常强烈的雄心。我想听听 Philippe 从法国和欧洲的角度，以及人工智能委员会的角度，对企业以及社会，在应对这一挑战方面所承担的关键责任有何看法。Philippe Aghion：首先是要将人工智能普及到经济领域。因此，我们认为，我们需要加强人工智能领域的研究。我们有杰出的数学家、计算机科学家，但他们在法国的研究却很薄弱。因此，我们需要，我们之前的一位研究部长曾试图削减 8 亿欧元的预算，幸运的是，新任研究部长正在纠正这一做法，这真是太好了。然而，我们的研究经费已经很紧张，他们还想进一步削减预算。因此，我们需要在研究方面有一个例外，一个特殊的例外。但我们也需要在经济领域、企业中普及人工智能，因为很大一部分是企业对人工智能的采用。因此，这需要公共投资。同样，我们希望在学校和大学的每个专业都引入人工智能。因此，要普及人工智能，需要进行巨大的投资。我们需要投资于计算能力，本地计算能力，以便为新企业提供访问权限，这不仅使竞争对新进入者更加友好，而且也使他们更容易获得计算能力。这就是公共和私人干预发挥作用的地方。这些都是我们真正需要关注的重点。竞争固然是主要威胁，但公共干预在普及计算能力和人工智能方面也至关重要。欧洲的情况尤为重要，我想重点谈谈欧洲。欧洲正在落后于美国。我们看到美国在高科技前沿创新方面领先，而欧洲主要处于中等技术增量创新阶段。我们在欧洲错失了 IT 革命。我们不想再错失人工智能革命。为什么？因为我们没有产生革命的生态系统。欧洲的问题在于，欧洲总是在紧急情况下才团结起来，我们需要一个真正的单一市场，我们需要一个真正的金融生态系统，我们需要真正的欧洲创新政策、产业政策和创新政策，才能使我们达到那些正在大量投资的国家的水准。而且我还不确定欧洲是否能够做到这一点。问题是，我们是否要让欧洲 20 个国家都这样做？我们是按最低标准来做，还是建立意愿联盟？我认为在人工智能方面，我们应该与那些想做事的人合作，而不是与那些不想做事的人合作。我们需要一种新的动力来唤醒欧洲，否则我们将沦为无足轻重的角色，而中国正在崛起，美国仍保持领先地位，欧洲却在衰落，这令人深感担忧。Yoshua Bengio：我想补充一点关于从经济角度来看微不足道的问题。我不是经济学家，但我认为有些简单的事情我可以预见，这些事情是合理的。当我们达到超级智能系统时，从经济角度来看，你们谈到了就业问题，但还有另一个问题，那就是我可以从声明中看到，控制这些系统的人比如 OpenAI，他们不会继续仅仅出售对其人工智能的访问权限。他们会提供对低级人工智能的访问权限。他们会保留真正强大的那些人工智能供自己使用，他们会建立公司，这些公司将与现有的非人工智能系统竞争，他们基本上会摧毁所有其他没有这些超级智能系统的国家的经济。所以，Philippe 刚刚说这不是生存危机，但我认为对于那些没有达到这种人工智能水平的国家来说，这确实是生存危机，而且这是一个紧急情况，因为即使有意愿联盟，也至少需要几年的时间才能弥合这一差距但这又确实是可以弥合的。因为你看，DeepSeek 是一个为期两年的项目。所以我认为现在完全来得及。主持人：我也同意这是可行的。我们还需要增加大量的资金才能实现这一目标。关于构建在人工智能之上的世界。目前人们担心的问题之一是，无法检查个人数据是否被用于训练数据集。那么，我们如何才能保护创意不被未经作者同意就成为训练集的一部分？如果生成的创意受到现有作品的启发，作者身份是否仍然存在？Erik Brynjolfsson：在美国，如今存在很多困惑。公司担心使用大语言模型，因为他们不确定自己是否侵犯了不同的版权，而且，现在，具有讽刺意味的是，OpenAI 正在起诉 DeepSeek，理由是 DeepSeek 可能使用了它的一些数据，但《纽约时报》也在起诉 OpenAI。我不知道 DeepSeek 是否已经起诉《纽约时报》。但是，许多公司现在都在互相起诉，试图确定谁拥有权利。部分问题当然在于，这些法律是在大语言模型或任何这些技术出现之前制定的。所以不是很清楚。版权实际上禁止你制作完全相同的副本或非常相似的东西。因此，大语言模型公司辩称，我们并非在制作与输入内容完全相同的副本，而是在生成原创内容。尽管如此，版权的目的是为创造有价值的内容提供激励。它在美国宪法中，我认为其他国家也有类似的规定。因此，如果你的目标是鼓励作者写书、写诗和进行原创调查报道，你需要为他们提供激励，否则如果他们没有激励，他们就不会这样做。主持人：作为总结，我很想听听各位对人工智能以及研究和进步方面最令人兴奋的机遇有何看法。Yoshua Bengio：机遇在于，人工智能最令我兴奋的积极方面是其在科学发现中的应用。事实上，人们过多地考虑利用人工智能来构建产品。但是，人工智能对我们社会的最大变革将间接地发生，因为人工智能被用作设计以前不存在的新技术的工具。这涉及到所有领域。科学研究非常昂贵。我们有可能加速研究，降低成本，用更少的投入实现更多成果。当我们继续沿着这条道路前进时，但这必须再次是有意识的。这不一定是商业压力或利润最大化最感兴趣的事情。最终也可能如此，但目前许多研究实际上是在大学里进行的，而这些机构缺乏足够的计算能力，也难以留住人才。因此，这是一个我们需要政府投资的案例，在人工智能的各个应用领域进行登月计划，而且这并不总是需要像超大型模型那样。尽管我确实认为，科学的根本进步也将来自于这些最先进的人工智能。如果我们能很好地引导它们，顺便说一句，我们不需要这些发现是由完全自主的人工智能做出的。我们只需要像科学家那样工作的人工智能系统。换句话说，基于他们拥有的数据，了解世界如何运作，提出假设，提出实验，但无需设定自身的目标和长期目标。Erik Brynjolfsson：首先，我非常赞同 Yoshua 所说的关于科学发现的观点。这确实是所有经济增长和我们生活水平提高以及应对许多挑战的驱动力。而且越来越多的系统专门用于帮助科学发现，可以追溯到 Alphafold，这些都是基于工具的系统，不一定是自主的，越来越多的科学家开始使用它们。比方说，我鼓励你们所有人都开始使用 Deep Research 和其他一些工具。大约四五个月前，我发现这些工具还不太有用。但现在在它们真正帮助我构建事物方面的能力方面，已经发生了翻天覆地的变化。我承认，有一次我有点恼火，当时我以为我有一个原创的想法，我正在思考它，然后我请求工具帮助我，它吐出了很多我一直在私下思考的东西。我给它提供了我的论文，所以它可能有点先发优势。但令人惊讶的是，它不仅能够综合大量事物，而且还能涌现某种原创性思维。我想强调的第二件事是，继续利用人工智能与人类密切合作的机会。我认为人们对这一点的强调还不够，这是一个非常具有破坏性的方向，无论是在它能产生的产出方面，还是在价值分配方面。当我与管理者交谈时，我花了很多时间与 CEO 们交谈，似乎有一种非常懒惰的想法，即我们有一项任务，我们将让机器来完成这项任务并取代人类。但他们几乎总是感到失望，因为事实证明，让机器 100% 完成某些工作或任务要困难得多。你通常可以让机器完成 80%、90% 甚至 99% 的工作。但是，正如自动驾驶汽车领域的案例，最后一英里是最具挑战性的，这在许多任务中都是如此。因此，尽管在你们的一个问题中，我谈到了人工智能可以做大多数事情的假设性未来，但我认为我们还有很长的路要走，我不知道有多长，在很长一段时间内，它会像下象棋一样，在许多任务中，起初只有人类才能完成，然后机器可以提供帮助。然后在某个时候，机器可以比人类做得更好，但即使在那之后，还会有一段时间，人类和机器的组合可以击败单独的机器。现在，对于象棋来说，这个窗口最终关闭了，但是象棋，当你思考它时，与现实世界的复杂性相比，它是一个非常简单的棋盘。因此，对于大多数其他任务，我认为我们将以更长的速度经历这些不同的阶段。Danielle Allen：除了对人工智能的力量感到兴奋之外，我们也应该对我们人类的力量感到兴奋。为此，我百分之百同意 Yoshua 关于分散管理超级智能（如果它出现的话）的观点。因此，也许我们应该也给自己提出一个社会技术挑战，即我们如何为超级智能建立治理体系。也许应该做的事情是现在就开始制定一项条约，其中包含这样的承诺：如果并且当超级智能存在时，在我们它出现之前，我们都已同意它将成为人类的共同财产，就像月球一样，然后以此为基础继续前进。在超级智能真正出现之前，现在是达成这样一项条约的最佳时机。
