吴恩达对话杨立昆
AI研究界有公认的四大天王：Geoffrey Hinton，Yann LeCun（杨立昆）， Yoshua Bengio和Andrew Ng（吴恩达）。有趣的是， 这几位大师互相之间有着很深的渊源。
其中， AI教父 Geoffrey Hinton开创了现在大放异彩的“深度学习”学科（最近Hinton有个详细的访谈很值得一看，见文章AI教父Hinton最新采访万字实录：ChatGPT和AI的过去现在与未来而Yann LeCun是Hinton的博士生， Yoshua Bengio的博士后导师和Andrew Ng的博士导师是同一位大牛Jordan，而Jordan也申请过Hinton的博士生。此外，LeCun与Bengio还曾经是同事。
从左到右：Yann LeCun， Geoffrey Hinton，Yoshua Bengio，Andrew Ng
最近，Yoshua天王已经和马斯克一起，联合众多科学家签署了关于“暂停6个月AI大模型研究”的呼吁申请；但显然，Andrew Ng天王和Yann LeCun天王有不同的意见。这两位在4月8号在线上公开连线直播，怒怼这种暂停AI研究的言论。
关于AI的先进性和潜在威胁，最近几个月我们或多或少都有些感触；与其自己想，不如看看AI大佬们的想法。以下是天王对话的全部内容整理。
Andrew：这是关于暂停六个月超过某一规模的AI系统研究的话题。
我是DeepLearning.ai的创始人Andrew，很高兴你们今天能加入我。与我一起的还有Yann LeCun，他是Meta的副总裁兼首席AI科学家，纽约大学教授，图灵奖获得者。
Yann和我已经是朋友很长时间了，关于这个为期六个月的暂停提议，我们已经深入地讨论过，并认为这是一个足够重要的话题。我认为，如果一个政府实施这个提议，实际上可能造成重大的危害。Yann和我觉得我们今天想在这里和大家聊聊这个问题。嘿，Yann，很高兴能和你聊聊这个问题。
Yann：嗨，Andrew，很高兴在这里与你交谈。
Andrew：让我们先简要概括一下现状。
在过去的十年，甚至可能在过去更长的20到30年里，我们看到了人工智能领域令人兴奋的进步。深度学习运作得很好，而且在过去的一两年里，我们甚至感觉到了人工智能进步的进一步加速，例如ChatGPT和LLama等生成式AI系统。此外，还有图像生成领域，比如MidJourney, Stable Diffusion, DALL-E等。人工智能发展似乎变得更快了。
与此相关的是，有人担忧人工智能的公平性、偏见以及社会经济的错位问题。此外，还有更遥远的、关于AGI邪恶的臆测性担忧。但我认为，人们确实担忧着可能存在的实际危害，包括现在可能的实际危害以及未来可能的其他危害。在这种环境下，生命未来研究所呼吁对比开放式AI的GPT4模型更强大的AI模型进行为期六个月的暂停研究和开发。包括我们的朋友约书亚班乔（Yoshua Bengio）、苏拉塞尔、埃隆马斯克在内的一些人都签署了这个提议。我认为Yann和我都对这个提议表示关切。Yann，为什么不从你的看法开始谈谈这个提议呢？
Yann：嗯，我的第一反应是，呼吁延缓研究和开发让我觉得这是一种新的模糊主义。为什么要减缓知识、事物和科学的进步呢？然后还有关于产品的问题。我完全支持对进入人们手中的产品进行监管，但我不明白为什么要监管研究和开发。我认为这样做除了减少我们可以用来实际提高技术安全性的知识之外，没有任何意义。
Andrew：事实上，我觉得尽管现在的AI存在一定的危害风险，比如偏见、公平性和权力集中等问题，但这也是现实问题。
人工智能正在创造巨大的价值。深度学习在过去10年，甚至在过去一年或几个月里，诸如用于教育或医疗保健的创新AI应用等领域的进步令人难以置信。许多人正在利用AI帮助他人，我认为与GPT4相比，构建更好的GPT4将有助于所有这些应用，帮助很多人。暂停这种进步似乎会造成很多危害，减缓对很多人有价值的事物的创造。
Yann：是的。我认为，这封信的签署者可能有多种动机。其中一些人可能处于一个极端，担心某一天AGI会被启动，并在短时间内消灭人类。我认为很少有人真的相信这种情况，或者认为这是一个无法阻止的确定性威胁。
还有一些人可能更为理性，认为需要解决实际的潜在危害和风险。我同意他们的观点。AI存在很多问题，如如何控制AI系统、如何使它们提供真实信息等。
我认为，有点缺乏想象力的是，未来的AI系统不会像现有的自回归模型（如ChatGPT、GPT4）或之前的其他系统那样设计。我认为将有新的想法使这些系统更易于控制，所以问题就变成了为这些系统设计与人类价值观和政策相一致的目标。我认为，如果以为我们足够聪明来构建超级智能的系统，但却没有足够的智慧来设计良好的目标以使它们表现良好，这是一个非常强烈的，而且概率非常低的假设。
然后还有一个更多是政治问题，那就是AI对人们和经济的影响。目前，这些产品主要由少数几家公司生产，这些公司将获得更多的权力和影响力，并以盈利为动力。这是否具有内在风险？答案显然是适当的监管，而不是停止研究和开发。我们需要监管产品。
Andrew：关于AI对齐问题，我对这个词有点矛盾感。让AI表现得更好确实是近年来技术取得迅速进展的一个方面。AI生成有毒言论确实是一个现实问题。但是，当我们从基本的语言模型（如GPT3）过渡到更可以加以指导的模型（如ChatGPT ）时，这是一种实质性的进步。
现在的模型已经不那么有毒，虽然仍然不完美，但我们确实在指导模型方面取得了实质性的进展，这就是为什么许多公司都在朝这个方向发展。我认为加大AI安全和对齐AI的力度比提议全面暂停更具建设性。
事实上，我认为AI末日论或AI末日说其实是一种过度炒作。AI可能失控并引发过度恐慌。这种AI末日论炒作同样有害，因为它也在制造不切实际的期望。
Yann：我同意，而且我认为现在像ChatGPT和GPT-4这样的东西已经被人们所使用，包括微软的版本。人们一直在与之互动，这或许给人们一种我们已经接近人类水平智能的错觉。因为我们作为人类非常注重语言，我们认为只要一个事物表达得流利，它就是智能的。
但事实并非如此，这些系统对现实的理解非常肤浅。它们没有真正体验过现实，它们只是通过纯文本进行训练。GPT-4尝试了一点图像，但它们对世界的理解非常肤浅。这就是为什么它们能产生看似有说服力的胡言乱语，但实际上不是这样。我们离人类水平智能还有很长的路要走。
我毫不怀疑，在未来几十年里，我们将拥有智能水平等于或超过人类智能的系统，涵盖人类所具有的所有智能领域。但是，人类的智能非常专业化，我们认为我们具有通用智能，但实际上我们没有。这些AI系统将会在各个领域超越我们，毫无疑问，这将会发生，但不会在明天就发生。在我们拥有至少有机会达到人类智能的系统蓝图之前，讨论如何确保它们的安全等问题我认为都为时尚早。因为如果汽车还不存在，你怎么设计安全带呢？如果飞机还没有发明，你怎么设计安全的喷气发动机呢？
所以，我认为有些问题为时过早，而且对于未来的恐慌有点误导。
Andrew：也许我们在过去的一年里，在AI领域取得了令人兴奋的进步，希望在未来30或50年里，我们将继续取得令人兴奋的进展，到那时，我们也许会有某种形式的AGI。但在更接近这个目标之前，真的很难知道该如何实现。正如我们在这个50年的旅程中，为了实现AGI，要求暂停半年，然后进行接下来的49年半的工作，我真的不明白为什么这会特别有帮助。
Yann: 显然，我们离人类水平智能还有很远，否则我们已经有了五级自动驾驶，但事实并非如此。一个青少年可以在大约20小时的训练中学会驾驶，而我们却没有自动驾驶汽车。
我们有的系统在语言上非常流畅，但它们接受的训练数据量高达数万亿个单词。一个人每天阅读8小时，需要大约22,000年才能完成。这简直令人难以置信。因此，这种智能与我们在人类身上观察到的智能类型并不相同。如果我们确实观察到了这种智能，这就是莫拉维克悖论的另一个例子，那些看似复杂的智能任务，如下棋和写作文，对于机器来说实际上相对简单。而那些我们认为理所当然的事情，比如任何10岁小孩都可以做的，如收拾餐桌，装满洗碗机，我们还没有能做到这些的机器人。Andrew，我记得你在Facebook上也研究过这个问题。
Andrew：是的，我们离AGI还很远，我认为我们都同意这一点。
除了这个AI、AGI和AI脱离控制的前提问题之外，这个提案的一个挑战是它似乎无法实施。有些事情是无法实施的。例如，我认为提议我们进行更多的AI安全研究，更多的透明度审计，让我们为AI基础研究提供更多的公共资金，比如NSF或其他公共资金，这些都是建设性的提议。但是要求AI实验室放慢速度，尤其是在如今竞争激烈的商业环境中，各实验室和国家都在努力开发先进技术，这实际上正在创造很多价值，我觉得这个想法不太现实，也不太可行。
更糟糕的是，如果政府采取行动通过立法暂停AI发展，那将是非常糟糕的创新政策。我无法想象政府通过法律来减缓技术进步是个好主意，尤其是政府自己，甚至是那些不完全了解这个问题的人。
Yann: 我们在谈论GPT-4或者OpenAI目前推出的任何东西，我们不是在谈论研究和开发，我们在谈论产品开发。
OpenAI从一个相对开放的AI研究实验室转型为一个以盈利为目的的公司，现在主要为微软进行合同研究。他们不再透露产品的相关信息以及它们是如何工作的。这是产品开发，而不是AI研发。在这里，阻止产品开发可能是一个问题，你可能想要对面向公众的产品进行监管，比如如果产品对公共安全造成威胁。显然，政府应该在这里介入，就像他们对药物、飞机和汽车等消费品所做的那样。在某种程度上，如果做得正确，这里的监管并不一定是坏事。但是，你不能监管一项技术，你不能监管一项尚未发展起来的技术。
我举个例子，你必须非常小心地监管一项技术，因为人们需要这项技术，并且它对人们有帮助。我在我的一些社交网络文章中举过这个例子：印刷机的出现引发了类似的反应。当印刷机出现时，天主教会非常抵制，因为他们认为这会破坏社会。印刷机确实破坏了社会，因为它让人们能够阅读圣经，从而创建了新教运动。当然，这也带来了负面影响，比如欧洲几百年的宗教战争。但是，印刷机也促进了启蒙运动、科学、理性主义和民主的传播，这最终导致了美国的诞生。因此，总体来说，这对社会产生了积极影响。
当一项新技术出现时，我们需要做的是确保它的积极效果最大化，负面效果最小化。但这并不意味着要停止技术的发展。当印刷机出现时，奥斯曼帝国禁止了它，因为他们担心这会让人们在宗教正统或政治权力方面有所突破。那个地区的智慧基本上陷入了停滞，尽管当时他们在数学和科学方面占据主导地位。通过阻止一种可以增强人类智能的系统，你实际上是在阻碍人类进步。AI将成为人类智能的放大器。我们可能会因此迎来一个新的文艺复兴，一个新的启蒙运动。为什么我们要阻止这种发展呢？
Andrew：是的，关于监管技术的想法，我几乎完全同意你的观点，只有一个例外。一些请愿书的作者（我认为在FAQ中）提到了1975年的阿西洛马会议，这是关于基因重组技术的会议。我认为这个类比并不是很好，因为当研究人员在60和70年代研究基因重组技术时，他们对猴病毒进行了研究，这存在着创造新疾病并影响人类健康的风险。正如我们在新冠疫情中看到的，大流行病是一个现实存在，对社会造成了极大的破坏。
所以我认为1975年的阿西洛马会议制定了一些应对措施，以防止在进行某些类型的DNA研究时出现问题，我认为这是一个好主意。我觉得将阿西洛马会议与AI领域发生的事情进行类比是令人困扰的，因为一个流行的观点是AI会逃脱我们的控制，但我看不到任何现实中的AI脱离控制的风险。
与传染病的传播风险不同，AI脱离控制的前提是我们不仅需要实现AGI（通用人工智能），而且AGI需要如此强大和智能，以至于能够战胜数十亿不希望AI伤害或杀死我们的人。这个情景在未来几十年甚至几个世纪都不太可能发生。
Yann：关于这个问题，我认为有趣的是，有些在线上的辩论是不合理的，但有些是合理的。
几年前，我和托尼泽特尔共同发表了一篇名为《别害怕终结者》的文章，文章发表在《科学美国人》杂志上。我们在文中指出，AI系统试图统治人类的情景是不现实的，因为要实现统治，你需要有统治的动机。这种动机在人类以及一些其他社会性物种中存在，但在非社会性物种中并不存在，因此我们设计的AI系统也不会有这种动机。我们可以设计AI系统的目标，使它们非支配性、顺从或者遵循与人类整体最佳利益一致的规则。
Andrew：是的，这让我想到了一个事实，那就是社会对科技的看法。我觉得10到20年前，科技被认为是全然美好的，可以为每个人带来美好生活。但在过去的五六年里，人们意识到科技也存在很多问题。
我觉得这有争议，因为媒体舆论适当地转向了科技是坏的观点，但又走得太远。我认为更加平衡的观点是承认科技为每个人带来的美好，同时也承认它确实存在一定的风险。我们确实在安全、透明度、权力集中和隐私等方面存在问题，这些都是我们必须解决的问题。然而，我认为媒体对科技的负面评价有些过头，这加剧了人们对科技的恐慌，而一个更加平衡的观点将有助于我们更好地前进。
Yann：显然有些这样的观点。作为一个公众人物，我也曾经处于争议的中心，尽管我并没有参与META公司的内容政策或隐私政策等事务。我认为人们没有意识到的是，科技产业本身也已经发现了这些问题，并试图纠正和减轻它们。例如，社交网络中排名算法的副作用，有些是可以预测并在发生之前修复的，有些则在出现问题后才得以修复。在此期间，可能会出现一些不良的副作用，而其中一些问题是受到技术的限制。
人们没有意识到的是，AI的进步实际上是解决社交网络所面临问题的一部分。我不仅仅是在谈论Facebook或Instagram，还包括YouTube、Tiktok和推特等。AI的进步使得我们能够更有效地删除仇恨言论等。这要归功于大型语言模型。因为我们有了大型语言模型，尽管不是自回归类型的模型，而是类似于BERT的模型，我们可以在全球大部分语言中做到比以往任何时候都更好地检测仇恨言论。这在过去的四五年里是不可能实现的。这要归功于AI的进步。AI并不是问题的根源，而是问题的解决方案。
Andrew：这是一个很好的观点。我认为，在推出诸如自动驾驶汽车等产品时，有不负责任的方式（注：明显在黑马斯克，哈哈）。我们应该以一种非常受控的方式发布新技术，确保它们不会带来危害，并逐步改进。这样做能更好地监控和减轻潜在的危险和有害情况，并随之研发解决方案。所以反对进步似乎并不是有帮助的。我们应该以一种受控的方式推出新技术，确保它们无害，并认识到某些伤害风险可能被夸大了。
接下来我们来回答一些网友的问题，谢谢大家提问。这里有个问题，来自匿名提问者：在什么条件/情景/临界点下，AI暂停可能是个好主意？
Yann：当然。我的意思是，如果有一种可能造成实际危害的技术，哪怕是在小范围内试验，我们应该立即停止部署该产品。
这里有两种危害，一种是潜在危害，另一种是实际危害。当发现实际危害时，我们应该采取措施制止。历史上的技术进步都是这样的，比如最早的汽车很不安全，刹车不好，没有安全带，没有交通信号等等，后来这些东西逐步得到改进，变得更安全。航空业也是如此。最终，会有监管机构确保这些产品的安全。AI与之前的技术进步之间没有本质的定性差异。
Andrew：对于基因病原体研究，有一个可能的危害路径，即病原体泄漏。重组DNA有低概率的风险，一旦泄漏，即使是世界上最强大的政府也无法阻止病原体的传播。我认为，现在政府可以通过立法强制企业关闭服务，我们有机会迅速采取措施阻止造成危害的事物，这也是另一种有力的防御。
第二个问题提到了Yann。问题是：如何（在Yann反对的情况下）与支持这个申请的专家互动？
Yann：乔舒亚是我的老朋友，非常好的朋友，我们从他还是研究生我还是博士后的时候就认识了，那还是在20世纪80年代。
人们有不同的观点和动机，他当然有不同的观点，甚至有不同的政治观点。他签署这份协议的原因，我认为是因为他认为企业出于盈利动机控制技术是本质上不好的。而我不这么认为，我认为它应该受到控制，但不一定是本质上的坏事。他非常反对AI研发保密，我同意他的观点。我非常支持开放研究，但我们在这里谈论的不是研究，而是产品。
关于开放研究，我认为应该继续这样做。部分原因是人们对OpenAI变得更加保密感到不满，因为他们在产品中使用的大部分想法实际上并非来自他们，而是来自谷歌、Facebook AI Research等其他团队和学术团体的已公开发表的想法。现在这些想法被关起来了，但这种情况不会持续太久。在相对较短的时间内，将会有很多具有相似甚至更强大功能的其他产品问世。
是的，OpenAI因为拥有大量用户而在数据方面具有优势，这让他们能够更好地微调系统，但这种优势不会持续太久。
Andrew：实际上，这也回答了另一个问题，他问我们是否担心在不久的将来，大多数大型AI模型也将由少数公司控制，因为计算成本的原因。
我对此有些担忧，但并不是非常担忧，因为目前基础设施层看起来竞争激烈。OpenAI在扩展基础设施方面做得很好，至少有两个这方面的重大突破可以归功于OpenAI。但同时，Meta发布了LLama，谷歌也发布了Palm模型，许多大型和小型组织发布了不同的LLM，所以现在市场竞争非常激烈。我看到了市场空间的巨大潜力，可以在这些大型模型的基础上构建应用层。
Yann：我认为这个领域将很快实现民主化。如果你想训练有史以来最大的LLM，你需要大量的计算资源。但是，大多数用途将会有一个模型金字塔，其中最简单但仍然有用的模型将会更广泛地可用，你甚至可以在相对较低的硬件上运行它们，比如移动设备。你将会看到有很多这样的AI系统以不同程度的开放性供研究团队或产品使用。
Andrew：我们回答一个最后的问题，尽量快速结束。最后一个问题是：你如何看待AI在工程领域的作用？学生们应该如何为未来做准备，以便在未来制作出优秀的工程应用？
我认为AI非常令人兴奋，它是一种通用技术。深度学习、监督学习和生成性AI都是通用技术，这意味着它们不仅仅适用于一种应用，而是适用于许多不同领域。因此，这些技术进步为我们提供了在经济的各个角落寻找有价值应用的机会，无论是在教育、医疗保舰辅导，还是改进工业自动化等领域。寻找重要的应用，以负责任、道德、公平的方式创造价值是至关重要的。现在是了解这些技术并找到使用场景并进行构建的绝佳时机。
Yann：是的,对于工程和产品开发方面，AI提供了很多机会。在研究方面，人们不应该认为AI已经解决了所有问题。正如我所说，我们仍然没有能够照顾家务、操作洗碗机的家庭机器人。我们在机器中还无法实现人类和动物的某些学习能力。我们还没有能够让系统进行推理和规划。当前的LLM无法进行规划，它们只能产生已经存在并存储在它们记忆中的计划。因此，在AI研究领域，未来几年仍然面临着很大的挑战，需要实现具有人类智能水平的机器。仅仅通过扩展自回归LLM并使用多模态数据进行训练是不够的，我们还需要做更多工作。
Andrew：未来还有很多令人兴奋的研究要做，还有很多令人兴奋的产品工作要做。我认为现在是一个好时机。
Yann：我同意这一点。
