《AI未来指北》栏目由科技新闻推出，邀约全球业内专家、创业者、投资人，探讨AI领域的技术发展、商业模式、应用场景、伦理及版权争议。
作者：城主 | 编辑：科技新闻 郝博阳
编者导语：
在过去一段时间内，我们听到了辛顿对AI发展的忧虑和杨立昆对AI影响一贯的乐观主义发言。但同为AI三巨头之一的约书亚本吉奥虽然一早就通过签署暂停AI宣言表达了他对AI目前在缺乏监管之下狂飙的反对，但很少出现在大众视野中做深入的探讨。
在5月24日加拿大蒙特利尔的C2论坛上，两位AI忧虑派棋手--本吉奥和赫拉利联袂出场，献上了一场关于AI潜在风险的二重唱。也让我们可以一窥本吉奥的真实立常
与上一次赫拉利高屋建瓴的对AI和人类社会的底层影响阐述不同，他们两人这次把视野放在了与我们生活更加息息相关的事物上，对 “AI时代，谁将决定的生活” 这个问题进行了连续的发问。从大尺度的历史对比 “工业革命我们可以有几代人的时间纠错，但AI革命不会给我们第二次机会”， 到地缘变化 “AI带来的技术垄断可能带来一次新的数字殖民”，再到 “AI替代工作说来简单，但再技能训练的成本无人承担” ，对我们每个人的切肤问题都进行了探讨。
在讨论中，作为AI顶级专家的本奥吉表达了五年之内AI就可能带来天翻地覆社会变化的担忧，使这些提出的问题更加迫在眉睫。
他们把解决这个问题的责任提给了我们每个人：“如果我们花在开发、理解和发展我们自己的思想上的时间，与我们花在开发人工智能上的时间一样多，我们就会安全。”
（注：Yoshua Bengio 约书亚本吉奥，被公认为人工智能研究与发展的领先先驱之一, 他是蒙特利尔大学的教授，也是Mila-魁北克人工智能研究所的创始人兼科学总监。Yuval Noah Harari 赫拉利，则是《人类简史》《未来简史》的作者）
完整版视频：
b站传送门：【精校完整版】Yoshua教授和人类简史作者赫拉利: AI如何影响人类社会-哔哩哔哩】
https://b23.tv/Cw5bjCS
----------------------
主持人：
我的名字是瓦西卡佩洛斯 我非常关注政治，所以这将成为与本吉奥教授和赫拉利教授讨论的一部分，欢迎交流，很高兴赫拉利教授你今天下午加入我们。
Harari：
谢谢，让我向你保证，我不是Deepfake或人工智能。
主持人：
这是一个让人放松的发现。（笑）
我想从这里展开讨论，首先，现在AI有一些潜在的积极方面；但你们认为人工智能构成了威胁。赫拉利教授，今天下午您将如何为我们的听众简洁地描述这种威胁？
Harari：
好吧，关于人工智能，有两件事需要了解 ：它是历史上第一个可以自己做决定的技术，也是历史上第一个可以自己创造想法的技术。
现在很多人都试图让我们冷静下来，告诉我们每次出现新技术时，人们都会害怕后果。但最终，我们还是会好起来。
但这（AI）与我们在历史上见过的任何事情都不一样。要知道，无论是石刀还是原子弹，以前所有的工具都赋予了我们力量，因为必须由人类来决定如何使用炸弹。但是人工智能可以自己做出决定，所以它可能会夺走我们的力量。
其次，历史上所有的信息技术，都只能复制或传播人类的思想。就像印刷机可以印圣经，但不能写圣经，也不能写圣经注释。ChatGPT 可以写作，可以对圣经或其他任何事物进行全新的评论，它甚至有可能在未来为未来的宗教创造新的圣典。
要知道，人类总是幻想着从超人的智慧中得到他们的圣典，现在它正在成为可能。
现在这种力量有很多正面的用法，但是也有很多负面的用法，而且，它与我们之前遇到的任何事情都有根本的不同，因为它可以夺走我们的力量。
主持人：
本吉奥教授，您如何看待 AI 在这个时刻构成的根本威胁？
Bengio：
好吧，AI是有很多威胁。但我最关心的两个最重要的威胁是在短期内，而且可能会在下一次美国大选时，从我们一直谈论的大型语言模型中派生出来的工具能被用于宣传、传播虚假信息、还是以个性化的方式去说服您给您本不想投的人投票。
第二个威胁可能会在几年后，也许十年后出现，这很难说：如果我们填补空白，弥合人工智能的当前技术水平与人类在智能方面的能力的差距，使我们制造的机器至少会像我们一样聪明。但是由于AI可以访问所有数据，由于数字通信、带宽和各种优势，它们会自动具有优势，让他们比人类更快地获取信息，在他们自己之间分享信息。这让我思考，即使我们只赋予它们我们自己同等水平的智慧，它们也会变得比人类更聪明。我们已经看到像 ChatGPT 这样的东西，在某些方面它们比我们更聪明，它们知道更多的东西，但它们在其他方面也更愚蠢。
主持人：
让我快速跟进一下。归根结底，如果他们能够比我们更聪明，那会构成什么威胁？这种威胁是存在的吗 ？
Bengio：
是的。
主持人：
这（具体）是指什么？不是要让这里的每个人都沮丧，它也许会带来些压力，但是......
Bengio：
好吧，有很多未知数。
Geoferry Hinton 使用了其他人也使用过的这个类比，想象一下我们创造了一个新物种，这个物种比我们聪明，就像我们比老鼠或青蛙之类的东西聪明一样。我们对青蛙好吗？
主持人：
这是我们一直问自己的一个问题。
Harari 教授，我想让你也参与进来，因为你已经写了很多关于人工智能对民主的威胁和反对的文章，而且在近期还会写更多。您是否担忧潜在的长期威胁，因为这个威胁是在本质上存在的？
Harari：
是的，绝对是。还有一些非常重要的短期威胁，比如民主的崩溃……（网络中断）它发展并变得比我们更聪明，那么我完全同意青蛙的类比。这对我们来说不是好兆头。
主持人：
我们只是，你在那儿（网络）定住了一秒钟，所以我们只听到了结尾。
Harari：
我说我同意青蛙的比喻，另一种思考方式是我们的 AI...比生物进化快得多。我的意思是，如果今天的 AI 就像变形虫，那么想象一下 T-Rex（霸王龙） 会是什么样子，不需要数十亿年就可以实现，我们可以在几年内发展到这种地步。
主持人：
好吧，实际上，我认为你跟进了一个很好的观点，本吉奥教授，因为我觉得作为一个普通人，而不是像你这样的专家，听到这些东西是非常可怕的。在你的脑海中有没有附上时间表？
我想我问这个问题不是为了进一步或放大这些恐惧，而是让我们围绕如何减轻这些可能性展开对话，对吧？
Bengio：
是的。
主持人：
政策制定者必须以多快的速度做出回应？你在考虑什么样的时间表？
Bengio：
所以问题是时间表有很多不确定性。
可能只需要几年时间，我们就至少可以掌握构建与我们一样智能并因此比我们更聪明的机器的原理；也有可能得需要几十年。
由于存在这种不确定性，我认为我们集体，尤其是我们的政府有责任为最坏的情况做好准备，至少是最坏的情况，可能是五年，我不知道...
重要的是，尤瓦尔（赫拉利教授） 经常谈到这一点，就是过渡。我们如何确保我们的适应速度足够快？所以如果它在几十年后到来，也许我们有机会适应社会；如果五年后到来，似乎没有希望了，对吧？
那么我们可以做些什么来减缓更危险的事情呢？我们如何尽快开始设置正确的护栏，以最大限度地减少我们今天一直在谈论的所有风险？
主持人：
赫拉利教授，你们都是一封信的签署人，这封信本质上是询问支持这项技术开发的公司，以回应本吉奥教授刚刚提出的暂停他们正在做的事情。
我想，那封信只是让这一切讨论有了更高的公众认知水平，那封信确实起到了作用。
为什么把你的名字附在上面对你很重要？
Harari：
因为这（AI）确实是对人类的生存风险，而我们最需要的是时间。人类社会具有极强的适应性,我们很擅长（适应），但这需要时间。
例如，如果你看看上一次我们经历了一场重大的技术革命，即工业革命，我们花了好几代人的时间才弄清楚如何建立相对良好的工业社会。在这个过程中，我们进行了一些糟糕的实验，关于如何建立工业社会的失败实验。
而现在我们面对的是比我们在工业革命中发明的火车、无线电和电力更强大的东西。我认为肯定有一种方法可以用人工智能建立良好的社会，但这需要时间，我们需要确保我们不会再做这样失败的实验，因为如果我们现在用这种技术来做那样的实验，我们就没有第二次机会了。
我们将无法生存。
我们之所以能在工业革命的失败实验中幸存下来，只是因为技术还不足以摧毁我们，所以我们必须非常小心，我们需要放慢速度。
主持人：
在面对像约书亚教授刚刚提出的巨大问题时，企业或社会会有反应，然后政府也会有反应。
这封信有点针对这两者，但（其内容）主要是要求这背后的公司暂停。
当你签它的时候，你认为他们会吗？
Bengio：
不。（观众笑）
主持人：
谢谢你说清楚。为什么不？
Bengio：
正如尤瓦尔所说，我们建立的激励制度对我们的工业社会和我们的自由民主国家来说相当有效，它是建立在竞争的基础上的。如果他们不玩那个游戏，公司将无法生存，因为另一个公司会取代它们。
这些公司中也有一些人可能认为道德和社会价值观很重要，所以他们会缓和一点利润最大化的动机。但（竞争和利润）仍然是一个非常强大的（动力）。
就我而言，这封信不是我写的，我签了字。
我认为这是引起公众和政府对问题的关注的好方法，甚至公司内部的人在这封信之后也一直在闭门讨论。所以它在这个意义上起作用了，这就是我签署它的真正原因。
主持人：
赫拉利教授，您在签署时是否认为任何人都会暂停一下？
Harari：
出于（和本吉奥讲的）同样的原因，公司不会。但我们希望至少引起公众和政府的注意。
因为归根结底，监管这种非常危险的发展是政府的责任。不幸的是，我们近年来看到的是相关的政治讨论并不存在。
如果你看看政客们、政党正在谈论的主要政治问题，他们根本就没有谈论这个。这应该是现在每场竞选活动中的首要问题之一。
因为，再一次强调，这不仅仅是（在远处）存在的危险，这也是日常生活中切身的问题，这涉及到我们的工作，是谁在为我们的生活做决定。
您向银行申请贷款，越来越多的是人工智能在为你做决定；你申请大学，您向雇主申请工作，越来越多的是人工智能做出决定。你甚至无法理解，如果他们拒绝你，他们为什么拒绝你。
这应该再次成为我们政治优先事项的重中之重，至少我希望这封信有助于将这个问题推向关注的中心。我很高兴看到它至少在某种程度上取得了成功。
主持人：
本吉奥教授，您是否同意目前围绕这个议题存在政治问题？
Bengio：
是的。
大多数情况下，政治家都想谈论积极的事情。实际上，我认为很多 AI 专家也是如此，他们想要坚持 AI 好的一面。
但是，我的意思是，生活就是它的本来面目，我们需要越早面对危险越好。
所以我认为政客们需要时间来接受他们在这里负有责任，不仅仅是考虑人工智能的经济利益或医疗保健等方面的利益，而且他们有责任保护公众免受短期和长期风险。
主持人：
Harari教授，媒体有责任向政治家提出这个问题，我所做的工作也有一些责任。
不过，我认为，这封信和杰弗里辛顿 (Geoffrey Hinton) 站出来说出他的所作所为的结果，似乎的确提高了人们关于我们目前处境的认识。
在美国，政客们举行了国会听证会。甚至在那次听证会上，OpenAI 的幕后推手塞缪尔奥特曼 (Samuel Altman) 基本上还是恳求当地政府和政府代表对人工智能进行更多监管。
你认为这有多重要？
Harari：
我认为这是非常重要的。同样，我们需要尽快完成。
当我们谈论监管时，我们需要区分监管人工智能的发展、实验室研究等，以及监管在公共领域的部署。
而且我认为更紧迫，也更容易规范的是(AI的公开)部署。
我们需要制定一些非常简单的规则。
例如，人工智能不能伪造人类。如果你正在与某人交谈，你需要知道它是人还是人工智能。如果我们不这样做，那么公共对话就会崩溃，民主就无法生存。
这只是常识。几千年来，我们都有禁止伪造货币的法律，否则，金融体系就会崩溃。
尽管今天伪造货币很容易，但人们还是不敢这样做，因为他们担心自己会被判入狱 20 年。我们需要关于伪装人类或伪造人类的同类法律。
同样，就像你不能在没有通过安全检查和获得批准的情况下，向公共领域发布强大的新药或车辆一样，人工智能也应该如此。你在实验室开发了一些东西没关系，在你可以将它部署到公共领域并对社会产生潜在的巨大影响之前，它必须经过类似的安全检查过程。
主持人：
本吉奥教授，您现在是否会将（AI）事物的部署，描述为不受管制的领域？
Bengio：
嗯，不完全是。因为我们有关于数据的法律，我们有关于通信的法律，但它们并不是为了解决我们正在谈论的一些问题而设计的。
因此，例如，据我所知，目前没有什么可以反对假冒人类。
有趣的是，这个伪造的例子，因为据我所知，伪造货币受到非常非常严厉的惩罚，因为（伪造的）收益如此之高，我认为这（AI和伪币制造）很相似。
关于这些事情的监管，有一件事让我担心事情在美国的发展方式。我认为我们需要监管机构具有很大的灵活性。
加拿大议会现在在讨论一项法案，它就具有这种结构，其中法律是基于原则的，它甚至规定了人工智能和这样做的公司应该遵循的道德原则，细节和规则则留给政府机构去完善。
这很好，因为这个领域发展得太快了，我们现在能想到的恶意用户，也许六个月后他们会有所不同。科学在发展，技术在发展，市场也在发展，我们需要政府提供更多的灵活性，而这不是他们所认可的。
主持人：
这不是他们的强项。
Bengio：
是的，我知道。
在美国，我的理解是，在过去的几年里，政府已经放弃了这种基于原则的立法，在这种立法中，你将权力下放给某个机构，而试图让国会记录所有内容，因为他们不想给予某些政府机构任何形式的控制权，尤其是共和党人。这可能是有效政府干预的一大障碍。
主持人：
Harari 教授，您如何描述有效的政府干预？您已经谈到了一些他们可以为部署引入的简单内容。还有什么？
Harari：
是的，还有一件事：他们可以引入低技术要求。比如如果你想拥有一个社交媒体账户，你必须去一些石头做的办公室并在一张纸上签名。（观众笑）
现在，它非常低效，但低效是一个特性，而不是一个错误。
我们可以用其他东西来实施，护照，驾驶执照...社交媒体的通行证也可以，你需要通过这个低技术操作，这将立即摆脱社交媒体上几乎所有的机器人。
回到民主崩溃的问题，我认为引入这种低技术需求会立即摆脱大部分机器人并帮助我们拯救民主。
我们应该记住的是，我们现在在美国等国家、我的国家以色列都面临着一个悖论，我们拥有历史上最先进、最强大的信息技术，但人们不再能够相互交谈，人们不再能够就任何事情达成一致，甚至是关于谁赢得了上次选举，或者疫苗是否对你有益或对你不好。
那么，在如此强大的信息技术下，对话怎么可能（不）会崩溃呢？
至少，我们部署信息技术的方式出了问题，而且是严重错误。我们需要在部署更强大的工具（如 AI）之前退后一步思考一下，这可能会导致对话彻底崩溃。
再次强调，如果你正在与某人讨论选举问题，但你分不清是人工智能还是人类，那就是民主的终结。因为对于一个人来说，浪费时间试图改变机器人的想法是没有意义的。机器人没有思想，但对于机器人来说，它与我交谈的每一分钟都在加深对我的了解，甚至与我建立亲密关系，然后机器人就更容易改变我的观点。
几年前我们就知道社交媒体上正在进行一场争夺注意力的战斗；现在随着新一代人工智能的出现，战线正在从关注转向亲密。我们很可能会遇到这样一种情况，如果我们不对其进行监管，我们很可能会遇到这样一种情况，即你有数百万甚至数十亿的 AI 代理试图获得我们的亲密感。
因为这是说服我们的最简单方法 去购买产品或投票给政客或其他任何人，如果我们允许这种情况发生，将导致社会崩溃。
主持人：
正如赫拉利教授所描述的那样，本吉奥教授，我在想关于他所描述的第一场辩论和讨论，关于社交媒体及其对民主的影响，以及政府干预与反对的阻力，即言论自由的想法。以及就此发生的政治辩论，会让我们忘记正在谈论的所有人工智能及其构成的威胁；就此而言，似乎在某种程度上可以理解的是，考虑到阻力 ，政府会犹豫是否将自己过多地投入其中。考虑到未来的前景，这有多令人不安？
Bengio：
好吧，有一种恶性循环，围绕着民主本身，所以如果我们有一个更健康的民主，我们就能更好地保护它。
为什么民主如此脆弱？我认为社交媒体和最终人工智能可能真正发挥作用的因素之一是人类很容易被影响 ，我们并不总是理性的。
正如约书亚所说，我们会受到我们与一个人的关系的影响，如果我们重视那个人，我们就会相信他们所说的话，而不会真正检查它是否有意义。
和民主一样，人口统计学已经存在了数千年，但它可以通过社交媒体得到放大，并且可以通过 AI 进一步得到放大。
所以...我认为这就是难以适当地立法和监管的原因，因为存在利益冲突。
如果你是一家公司，你希望尽可能少的阻碍你前进的障碍。我非常喜欢低税建议，但公司会之抗争，因为这意味着收入减少，对吧？
Harari：
也许能说一下...
主持人
是的，请说。
Harari：
我只会说言论自由问题，这是大公司使用的烟幕。
这不是言论自由问题，因为机器人没有言论自由。机器人没有权利。（观众鼓掌）
人类有权利，我们有言论自由的权利。所以，要禁止一个人使用 Twitter 或禁止一个人使用 Facebook，这是一个难题。
但是要从 Facebook 或 Twitter 上禁止机器人，这很容易。我的意思是，他们没有权利。谁来捍卫机器人的言论自由？（观众笑）
主持人：
也许是伊隆马斯克？（观众笑）
我想我理解，我完全理解围绕它的要点是企业利益驱动的烟幕，但它已经说服了各种政治意识形态的某些分支，对吧？
你如何对那些习惯于现在可以在社交媒体上随心所欲地做任何事的人说，实际上你必须去这座大楼（去注册账号）？
这听起来很棒，知道您在社交媒体上与之交谈的人是真实的人很好。但是要说服他们这样做，什么是当务之急？我们该怎么做？
Bengio：
这就是我们今天进行对话的原因。我们需要足够多的人来了解风险。
因为失去民主可能会失去很多福祉和自由以及自由民主带来的所有美好事物。
失去民主，我们可能会失去很多，所以我们需要人们理解这一点。这需要时间，这将需要很多讨论。
但这就是我认为失去对我们来说很重要的东西的威胁，可能是让我们做出让我们感觉不好的选择的最佳方式，比如去座大楼让我们的账户获得批准。
主持人：
我没时间，每个人都会这么说。（笑）
Harari教授，还有其他人提出建议，更极端的建议是关于如何应对生存威胁以及需要政府干预的程度，甚至建议建立某种世界政府。
我问你这个问题的原因是，我认为那些会因为言论自由而对任何侵权行为感到不安的人，也会直接举出那个例子来说明为什么政府不应该干预。
那么你对此有何看法？
Bengio：
好吧，世界政府是个糟糕的主意，这是不切实际的。
即使可以做到，也不应该这样做。
还有一些想法认为，我们必须建立某种专制或威权制度，以防止毁灭、拯救人类。
但我认为拯救人类唯一现实的方法首先是拯救民主，因为在规范人工智能和控制人工智能方面，威权主义制度将比民主制度糟糕得多。
威权政权的传统问题是他们倾向于相信自己的万无一失，他们从不犯错误，而且它们没有任何强大的自我纠正机制，识别和纠正自己错误的机制。
在威权主义政权或某种超级强大的世界政府的情况下，该系统赋予人工智能太多权力而无法对其进行监管的诱惑几乎是无法抗拒的。而一旦威权政权赋予人工智能权力，就没有任何自我纠正机制可以指出系统不可避免的错误并加以纠正。
并且应该非常清楚的是，AI 并非绝对可靠。它有很大的力量，它可以处理很多信息，但信息不是真相。从信息到真理和智慧还有很长的路要走。
如果我们赋予 AI 过多的权力，它必然会犯错误。
只有民主国家才有这种制衡机制，允许他们尝试某些事情，如果不起作用，则找出错误并加以纠正。
主持人：
本吉奥教授，您认为为什么会有人提出那么极端的建议，您对他们有何评价？
Bengio：
好吧，这是一个简单的想法，如果我们都是某种摄像头，可以监视我们所做的一切，并且某些使用人工智能的中央政府会检查我们是否没有做对人类真正危险的事情，比如发送杀死所有人的命令，或者只是坏人什么的，我们会更安全……
如果你忘尤瓦尔告诉我们的一切，这会是一个很有吸引力的想法。
但从表面上看，我们如何确保地球上没有人知道一个秘诀，让 AI 进入可能对人类构成危险的阶段，去真正执行错误的命令？
假设我们都可以获得这些知识，我们如何确保没有人会这样做？
所以，我认为...这不是正确的解决方案，但可以理解。你会说，好吧，让我们确保每个人都不会这样做。因为他们被连接起来，被监视着，他们被控制着，他们不能做……他们的自由受到非常严格的限制。
这可能是一个诱人的场景，但我认为这是非常危险的，正如尤瓦尔一直在解释的那样。我希望我们仔细考虑我们的选择是什么。
我们是否可以通过其他方式来组织社会，使其在 AI 的意义上是安全的？我们可以维护我们的人类价值观、人权、人类尊严和民主。
这是一个困难的问题，但我认为将我们最好的大脑时间花在这类问题上是值得的。
主持人：
本吉奥教授，我接着问下去，您的直觉告诉您，双赢的场景是否存在 ？
Bengio：
好吧，我会说这会很困难，特别是如果我们没有足够的时间。
但是，当您对似乎比您自己作为小人物大得多的事情感到沮丧时，您必须记住，我们只能尽力而为。所以我认为我们有道德责任，即使机会看起来很渺茫，也要尝试，要仔细考虑。
想一想那些已经为我们改变应对气候变化的方式而奋斗多年、几十年的人们，这似乎是一个绝望的事业，或者至少多年来一直如此--希望它会变得更好--但是人们继续战斗，继续尝试，对吧？
这就是我们必须应对 AI 挑战的原因。
这是值得的，因为我们可以给每个人带来健康、教育、解决气候变化，我们甚至可以用你称之为乌托邦的方式彻底改革社会，但可能会给我们所有这些美好的东西， 在民主和人民福祉方面甚至比我们现在的社会更好。
主持人：
Harari 教授，您是否也有同样乐观的理由？你觉得最坏的情况是可以避免的吗？
Bengio：
等等，等等，我没有说我是乐观主义者。
我这样描述它，我不想成为乐观主义者或悲观主义者。我说我们有责任，道德责任去寻求乐观的解决方案并努力实现它。
主持人：
因此，我要问的是，赫拉利教授，您认为这可能吗？
Harari：
是的，我认为基本上是我们造成了问题，我们仍然有能力解决它。不会有很多年的机会，因为人工智能会夺走我们的力量，但目前，我们仍然拥有力量。
也许关于我们刚刚听到的一个更普遍的想法是，关于智力，所有这些关于智力的讨论是一件好事。
迄今为止，我们是地球上最聪明的生物，看看我们的智慧把我们带到了哪里（观众笑）
我们现在正在讨论，因为我们发明的东西，我们现在正在讨论这些场景，比如在每个人身上放一个摄像头，破坏人类自由和人类隐私，以保护我们免受我们用我们的智慧发明的东西的伤害，这些东西据说是为了给我们提供更好的医疗保健和其他东西。
我认为关于智能的一件事是，最聪明的代理人，同时也往往是最愚蠢的代理人。
青蛙不会这样做，就像我们做的那样（主持和观众笑）。
因此，当我们考虑人工智能时，它也可能在它所做的某些事情上非常愚蠢。这不一定是乐观的，但它只是暂时框架一下关于人工智能和一般智能的讨论。
再一次，最终，问题是我们，而不是人工智能。
例如，我们刚刚讨论的是民主的崩溃，以恶意方式使用 AI 的主要是坏人。
所以，我认为，如果我们花在开发、理解和发展我们自己的思想上的时间与我们花在开发人工智能上的时间一样多，我们就会安全。
Bengio：
我完全同意，而且我会谈论得更远。
我认为这是唯一的方法，如果我们想避免我们谈到的老大哥（威权主义），维护我们价值观的唯一方法来、是通过改变人类。
我认为这是可能的。有些人更有道德、更聪明、更了解自己、更有同情心、更理性。所以，我们知道这是可能的。
我们如何将这些带给全人类？这就是我所说的乌托邦。
主持人：
只是跟进一下，正如你所描述的那样，我想到很多人可能刚刚看到有关人工智能的头条新闻。他们听到这些消息后，认为这只是一种完全重新定位或改变社会的方式，他们感到害怕。
是否存在一个风险：我们只是讨论解决方案，然而忽略了需要实际说服去实施解决方案的人？
Bengio：
是的。我理解。与我关系密切的人有些担心，讨论集中在民主或人类面临的这些灾难性风险上，但我们没有关注当前的社会问题，人工智能的当前问题，例如偏见和歧视，以及存在的不公正现象。
所以我们需要同时做所有这些事情，但也许解决方案会趋于一致。
主持人：
Harari 教授，对于如何在政治上和公众中获得支持以确保我们作为一个社会致力于解决这个问题，您有什么想法？
Harari：
首先，我们需要将社会的注意力集中在这些问题上。这不是危言耸听，这不是为了向我们隐瞒其他问题。
实际上，除了长期存在的风险之外，我们在经济和社会中的许多最紧迫的问题都会因为人工智能而变得非常非常糟糕。
我们没有过多地谈论就业市场，但这应该是每个人都非常关心的问题
而且，我不认为人工智能会摧毁所有工作，它会破坏一些工作，它将创造很多新的就业机会。
但是，再次强调，转型，培训人，这将是非常困难的。
记住，希特勒上台是因为德国三年的失业率高达 25%。因此，即使 20 年后它会好，我们没有20年的时间。有三年、四年失业率为 20%，你怎么办？
在政治方面，我认为政治体制内也缺乏对技术及其影响有非常深刻理解的人，因为大多数了解技术的人都想成为下一个扎克伯格或下一个埃隆马斯克。
他们不去从事政治，提高公众的意识并对其进行规范，他们做生意赚了数十亿美元。
所以我们基本上需要更少的扎克伯格和埃隆马斯克，更多的（从政的技术人才）。
主持人：
这绝对是一种极佳的表达方式。（观众鼓掌）
我想谈谈赫拉利教授围绕工作提出的一个观点，因为我确实认为，这个讨论，围绕 AI 对我的工作、对你的工作、对听众的工作意味着什么的讨论，是一种非常切实的方式消除它所构成的威胁。
就像气候变化带来的生存威胁一样，看看魁北克的洪水，艾伯塔省的大火无疑为我们奠定了基础，最终我认为改变了政治家采取行动的动力。
您如何描述 AI 对我们的工作构成的威胁 ？
Bengio：
好吧，我不是经济学家，所以我试着读了一点这方面的书，我看到不同的阵营，就像经济学中通常的那样，提出了截然不同的主张。
因此，一方面，例如OpenAI 和学者最近的一项研究表明，大部分工作会被改变，你会获得更高的生产力，这意味着我们要么让更少的人做这些工作，或者我们会做更多的事。
我认为编程是一个很好的例子，如果我们可以因为 AI 工具而将编程工作的速度提高一倍，那么我们的程序员数量会减半吗？还是同样的人数会做两倍的好事？
所以很难预测这些事情，而且我在“我们不担心”方面听到的一个论点是社会变化缓慢，即使我们拥有某些东西的技术，人们也可能需要数年甚至数十年才能真正利用它对社会和就业市场产生重大影响。
现在，好吧，还有其他论点说人工智能是不同的，一旦你有了一个基本上可以更好地完成工作的系统，那么想想现在我们正在谈论的，你可以通过操纵语言来完成所有工作，比如电子邮件和社交媒体等等 ，并使用数据库这些。
很可能在许多部门，这些类型的工作可以相当快地完成得更好，公司是否能够迅速做到这一点真的很难预测，但如果他们做到了，我们真的会遇到尤瓦尔所说的这些转型问题。
主持人：
赫拉利教授，您是否认为现在这场关于工作的讨论是否支持了（未来）可能不可知论者？
Harari：
绝对是的。
因为这非常非常清楚，如果机器人或人工智能来取代我的工作怎么办？这立即引起了人们的注意。
再说一次，人类将不再有任何工作岗位，这并不是一个简单的想法。
会有很多新工作，但转型很困难。您如何对人员进行再培训，尤其是在我们需要考虑全球因素的情况下？因为人工智能革命是由极少数国家领导的，这些国家可能因此而变得极其富有和强大，而它可能会摧毁欠发达国家的经济。
即使你想到像纺织业这样的事情，如果在加拿大和美国生产纺织品比在洪都拉斯、危地马拉和孟加拉国生产更便宜，洪都拉斯或孟加拉国的经济会发生什么变化？那么你真的认为你能够将这些国家的数百万纺织工人重新培训成为虚拟现实游戏的设计师吗？谁来支付再培训费用？
我的意思是，在先进的发达国家，人工智能革命的收益将使政府有望减轻对失业人员的打击，并使他们能够接受再培训。但我不认为美国政府会对谷歌、Facebook 和微软征税，然后将钱汇往洪都拉斯或孟加拉国，以帮助那里的人们接受再培训和应对。
所以我们可以看到一种新的，比如 19 世纪的工业革命，它导致极少数国家基本上征服和统治了整个世界。由于自动化革命和人工智能革命，这种情况可能会在很短的时间内再次发生。
再一次，如果你再加上一点，这不仅仅是经济，它也是你可以获得的政治控制类型，从收集世界上所有的数据并对其进行分析。要知道，以前想要控制一个国家，就得派兵进来；现在越来越多(的情况)是，你只需要取出数据,当每个政客、记者、法官和军官的全部个人记录、医疗记录等都被硅谷或中国的某个人掌握时，某个小国会发生什么？它仍然是一个独立的国家还是变成了某种数据殖民地？
因此，这些是我认为任何公民都应该清楚的直接危险，无论他们对人工智能的长期存在风险有何看法。
主持人：
好吧，关于这一点，这可能是结束我们讨论的完美说明，因为我认为在讨论完你们双方提出的内容之后 ，我们都更加清楚。
非常感谢你们今天为我们提供的所有信息。
Bengio & Harari：
谢谢。很高兴。
主持人：
非常感谢!
这是一种真正的快乐，我确实觉得我们现在掌握了更多的知识，而不是哭着入睡。所以这是一件好事。
非常感谢大家今天的关注。
谢谢。
