划重点
01人工智能加速的神经科学可能显著改善大多数心理疾病治疗，甚至治愈它们，并大大扩展认知和心理自由。
02AI可能帮助发展中国家赶上发达世界，特别是在健康、经济和粮食安全方面。
03然而，AI驱动的经济发展可能面临挑战，如腐败、薄弱的制度和其他人性挑战。
04另一方面，AI在提高民主治理、减少不平等和实现个人意义方面具有潜力。
05为了实现这些目标，AI公司和政策制定者需要共同努力，确保发展中世界不被遗漏。
以上内容由腾讯混元大模型生成，仅供参考
因为诺贝尔物理学奖和化学奖都颁给了AI相关专家，Anthropic CEO 大发感慨，写出了这23000字的雄文。他认为AI 将带来“压缩的21世纪”，在5-10年内完成人类生物学家100年的研究进展，预防和治愈几乎所有自然疾病，让人类实现生物自由甚至寿命翻倍。
我经常思考和讨论强大AI的风险。作为Anthropic的CEO,我们公司在如何降低这些风险方面做了大量研究。因此,人们有时会得出结论,认为我是一个悲观主义者或"末日论者",认为AI主要会是坏的或危险的。我一点也不这么认为。事实上,我专注于风险的主要原因之一是,它们是我们与我所认为的本质上积极的未来之间唯一的障碍。我认为大多数人低估了AI可能带来的多么激进的积极影响,就像我认为大多数人低估了风险可能有多糟糕一样。
在这篇文章中,我试图勾勒出这种积极影响可能是什么样子 - 如果一切顺利,拥有强大AI的世界会是什么样子。当然,没有人能够确定或精确地预知未来,而且强大AI的影响可能比过去的技术变革更加难以预测,所以所有这些不可避免地都是猜测。但我的目标至少是做出有根据和有用的猜测,即使大部分细节最终是错误的,也能捕捉到将要发生的事情的本质。我包括了很多细节,主要是因为我认为一个具体的愿景比一个高度保留和抽象的愿景更能推进讨论。
首先,我想简单解释一下为什么我和Anthropic没有过多谈论强大AI的积极方面,以及为什么我们可能会继续主要谈论风险。特别是,我做出这个选择是出于以下几个原因:
最大化杠杆作用。AI技术的基本发展及其许多(并非全部)好处似乎是不可避免的(除非风险使一切脱轨),并且基本上是由强大的市场力量驱动的。另一方面,风险并非是预先确定的,我们的行动可以极大地改变它们发生的可能性。
避免被视为宣传。AI公司谈论AI的所有惊人好处可能会给人一种宣传的感觉,或者看起来是在试图分散人们对缺点的注意力。我也认为,原则上花太多时间"宣传自己的书"对你的灵魂不好。
避免夸大其词。我经常对许多AI风险公众人物(更不用说AI公司领导人)谈论后AGI世界的方式感到反感,好像他们的使命是像先知带领人民走向拯救那样单方面塑造世界。我认为将公司视为单方面塑造世界是危险的,将实际的技术目标本质上视为宗教术语也是危险的。
避免"科幻"的包袱。尽管我认为大多数人低估了强大AI的积极影响,但讨论激进AI未来的小社区往往以过度"科幻"的语气进行讨论(比如上传思维、太空探索或一般的赛博朋克氛围)。我认为这导致人们不太认真对待这些说法,并给它们赋予一种不真实感。需要明确的是,问题不在于所描述的技术是否可能或可能发生(主文在细节上讨论了这一点) - 更多的是"氛围"在暗示中带来了一堆文化包袱和关于什么样的未来是可取的、各种社会问题将如何发展等未说明的假设。结果往往最终读起来像是一个狭窄亚文化的幻想,同时让大多数人反感。
然而,尽管有上述所有担忧,我确实认为讨论一个拥有强大AI的美好世界会是什么样子是很重要的,同时尽最大努力避免上述陷阱。事实上,我认为拥有一个真正鼓舞人心的未来愿景是至关重要的,而不仅仅是一个灭火的计划。强大AI的许多含义是对抗性的或危险的,但最终必须有我们为之奋斗的东西,一个每个人都能受益的正和结果,一些能让人们超越争执并迎接未来挑战的东西。恐惧是一种动力,但还不够:我们还需要希望。
强大AI的积极应用清单非常长(包括机器人、制造、能源等),但我将重点关注少数几个我认为最有可能直接改善人类生活质量的领域。我最感兴趣的五个类别是:
生物学和身体健康
神经科学和心理健康
经济发展和贫困
和平与治理
工作与意义
我的预测按大多数标准来看将是激进的(除了科幻"奇点"愿景),但我是认真和诚恳地提出这些预测的。我说的一切很容易就是错的(重复我上面的观点),但我至少试图将我的观点建立在对各个领域进步速度可能加快多少以及这在实践中可能意味着什么的半分析性评估基础上。我很幸运在生物学和神经科学方面都有专业经验,我也是经济发展领域的一个有见地的业余爱好者,但我肯定会犯很多错误。写这篇文章让我意识到,把一群领域专家(生物学、经济学、国际关系和其他领域的专家)聚在一起,写一个比我在这里产出的更好、更有见地的版本会很有价值。最好将我在这里的努力视为对该小组的一个起始提示。
基本假设和框架
为了使整篇文章更精确和有根据,明确指出我们所说的强大AI是什么(即5-10年倒计时开始的阈值)很有帮助,同时也要为思考这种AI一旦出现后的影响建立一个框架。
强大AI(我不喜欢AGI这个术语)会是什么样子,以及它何时(或是否)会到来,这本身就是一个巨大的话题。这是我公开讨论过的,也可能会写一篇完全独立的文章(我可能在某个时候会这么做)。显然,许多人对强大AI会很快被建造持怀疑态度,有些人则怀疑它是否会被建造出来。我认为它可能早在2026年就会出现,尽管也有可能需要更长时间。但就本文而言,我想把这些问题搁置一边,假设它会在合理的时间内出现,并专注于之后5-10年会发生什么。我还想假设一个定义,说明这样的系统会是什么样子,它的能力是什么,以及它如何互动,尽管这些方面也存在分歧的余地。
我所说的强大AI,是指一个AI模型 - 可能在形式上与今天的大语言模型相似,尽管它可能基于不同的架构,可能涉及几个相互作用的模型,也可能以不同的方式训练 - 具有以下特性:
在纯粹的智能方面,它比大多数相关领域的诺贝尔奖得主更聪明 - 生物学、编程、数学、工程、写作等。这意味着它可以证明未解决的数学定理,写出极好的小说,从头开始编写复杂的代码库等。
除了仅仅是"你可以与之交谈的聪明东西"之外,它还具有虚拟工作的人类可用的所有"接口",包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以进行这个接口所允许的任何行动、通信或远程操作,包括在互联网上采取行动,接受或给予人类指示,订购材料,指导实验,观看视频,制作视频等。它以超越世界上最有能力的人的技能来完成所有这些任务。
它不仅仅是被动地回答问题;相反,它可以被赋予需要数小时、数天或数周才能完成的任务,然后像一个聪明的员工那样自主地去完成这些任务,在必要时寻求澄清。
它没有物理实体(除了存在于计算机屏幕上),但它可以通过计算机控制现有的物理工具、机器人或实验室设备;理论上它甚至可以为自己设计要使用的机器人或设备。
用于训练模型的资源可以重新用于运行数百万个实例(这与约2027年的预计集群规模相匹配),并且该模型可以以大约人类速度的10-100倍吸收信息和生成行动。然而,它可能会受到物理世界或它交互的软件的响应时间的限制。
这数百万个副本中的每一个都可以独立地执行不相关的任务,或者如果需要,可以像人类合作那样一起工作,可能有不同的亚群体被微调以特别擅长特定任务。
我们可以将这概括为"数据中心里的天才国度"。
显然,这样一个实体能够非常快速地解决非常困难的问题,但要弄清楚有多快并不简单。两种"极端"立场在我看来都是错误的。首先,你可能认为世界会在几秒或几天的时间尺度上立即转变("奇点"),因为优越的智能不断自我提升并几乎立即解决每一个可能的科学、工程和操作任务。这个观点的问题在于存在真实的物理和实际限制,例如硬件建设或进行生物实验。即使是一个新的天才国度也会遇到这些限制。智能可能非常强大,但它不是魔法仙尘。
第二,相反,你可能认为技术进步已经饱和或受到现实世界数据或社会因素的限制,超人类智能将几乎不会增加什么。这在我看来同样不可信 - 我能想到数百个科学甚至社会问题,一大群真正聪明的人会大大加快进展,特别是如果他们不仅限于分析,而且可以在现实世界中实现事情(我们假设的天才国度可以做到这一点,包括指导或协助人类团队)。
我认为真相可能是这两种极端情景的某种混合,根据任务和领域而有所不同,其细节非常微妙。我认为我们需要新的框架来以富有成效的方式思考这些细节。
经济学家经常谈论"生产要素"：诸如劳动力、土地和资本之类的东西。"劳动/土地/资本的边际收益"这个短语捕捉了这样一个概念：在给定情况下，某个特定因素可能是或可能不是限制性因素 - 例如，空军需要飞机和飞行员，如果你没有飞机，雇佣更多飞行员并不会有太大帮助。我认为在AI时代，我们应该讨论智能的边际收益，并试图找出与智能互补且在智能很高时成为限制因素的其他因素。我们不习惯这样思考 - 问"在这个任务中更聪明能帮多大忙，在什么时间尺度上" - 但这似乎是概念化一个拥有非常强大AI的世界的正确方式。
我猜测限制或与智能互补的因素包括：
外部世界的速度。智能代理需要在世界中互动地操作，以完成事情并学习。但世界只能以固定速度运转。细胞和动物以固定速度运行，因此对它们的实验需要一定的时间，这可能是不可减少的。硬件、材料科学、任何涉及与人交流的事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，通常需要连续进行多个实验，每个实验都从上一个实验中学习或建立。所有这些意味着完成一个主要项目 - 例如开发癌症治疗方法 - 的速度可能有一个不可减少的最小值，即使智能继续增加也无法进一步减少。
对数据的需求。有时缺乏原始数据，在这种情况下，更多的智能并不能帮助。今天的粒子物理学家非常聪明，已经发展出一系列广泛的理论，但由于粒子加速器数据非常有限，他们缺乏选择这些理论的数据。目前还不清楚如果他们具有超人类智能是否会做得更好 - 除了可能加快更大加速器的建设。
内在复杂性。有些事物本质上是不可预测或混沌的，即使是最强大的AI也无法比今天的人类或计算机预测或解开它们好得多。例如，即使是令人难以置信的强大AI也只能在一般情况下比今天的人类和计算机多预测混沌系统（如三体问题）一点点。
来自人类的约束。许多事情不能在不违反法律、伤害人类或扰乱社会的情况下完成。一个对齐的AI不会想要做这些事情（如果我们有一个未对齐的AI，我们就回到讨论风险了）。许多人类社会结构效率低下甚至积极有害，但在尊重临床试验的法律要求、人们改变习惯的意愿或政府行为等限制的同时，很难改变。在技术上运作良好但其影响被法规或错置的恐惧大大降低的进步的例子包括核能、超音速飞行，甚至电梯。
物理定律。这是第一点的更严格版本。有些物理定律似乎是不可打破的。不可能以超过光速的速度旅行。布丁不会自己搅拌。芯片每平方厘米只能有这么多晶体管，否则就会变得不可靠。计算需要每位擦除的最小能量，限制了世界上计算的密度。
还有一个基于时间尺度的进一步区分。短期内的硬约束可能在长期内变得更易受智能影响。例如，智能可能被用来开发新的实验范式，允许我们在体外学习以前需要活体动物实验才能学到的东西，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在伦理限制内）找到绕过人类约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚程度较低的新管辖区，或改进科学本身，使人类临床试验变得不那么必要或更便宜）。
因此，我们应该想象这样一幅图景：智能最初受到其他生产要素的严重瓶颈，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们永远不会完全消失（有些东西如物理定律是绝对的）。关键问题是这一切发生的速度有多快，以及按什么顺序。
带着上述框架，我将尝试回答引言中提到的五个领域的问题。
生物学和健康
生物学可能是科学进步最有可能直接和明确地改善人类生活质量的领域。在过去的一个世纪里，一些最古老的人类afflicitions（如天花）终于被征服了，但还有更多仍然存在，击败它们将是一项巨大的人道主义成就。甚至超越治愈疾病，生物科学原则上可以改善人类健康的基线质量，通过延长健康的人类寿命，增加对我们自身生物过程的控制和自由，并解决我们目前认为是人类条件不可改变部分的日常问题。
用上一节的"限制因素"语言来说,直接将智能应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性(事实上,这三者都是相互关联的)。人类约束在后期阶段(涉及临床试验时)也起作用。让我们逐一讨论这些。
对细胞、动物甚至化学过程的实验受到物理世界速度的限制:许多生物学协议涉及培养细菌或其他细胞,或者只是等待化学反应发生,这有时可能需要数天甚至数周,而且没有明显的方法可以加快。动物实验可能需要数月(或更长时间),人类实验通常需要数年(对于长期结果研究甚至可能需要数十年)。与此有些相关的是,数据往往缺乏 - 不是数量,而是质量:总是缺乏清晰、明确的数据,这些数据能够将感兴趣的生物学效应与其他10,000个混淆因素隔离开来,或者因果性地干预给定过程,或者直接测量某些效应(而不是以某种间接或嘈杂的方式推断其后果)。即使是大规模、定量的分子数据,比如我在研究质谱技术时收集的蛋白质组学数据,也是嘈杂的,并且遗漏了很多(这些蛋白质在哪些类型的细胞中?细胞的哪个部分?在细胞周期的哪个阶段?)。
部分原因是数据问题的内在复杂性:如果你曾经见过展示人类代谢生物化学的图表,你就会知道很难孤立这个复杂系统任何部分的效应,更难以精确或可预测的方式干预系统。最后,除了在人类身上进行实验本身需要的时间外,实际的临床试验还涉及大量官僚作业和监管要求,这些(在包括我在内的许多人看来)增加了不必要的额外时间并延迟了进展。
鉴于所有这些,许多生物学家长期以来一直对AI和更广泛的"大数据"在生物学中的价值持怀疑态度。从历史上看,在过去30年里将自己的技能应用于生物学的数学家、计算机科学家和物理学家取得了相当大的成功,但并没有产生最初希望的那种真正变革性的影响。一些怀疑论已经被像AlphaFold(刚刚理所当然地为其创造者赢得了诺贝尔化学奖)和AlphaProteo这样的重大革命性突破所减少,但仍然有一种看法认为AI是(并将继续)只在有限的情况下有用。一个常见的说法是"AI可以更好地分析你的数据,但它不能产生更多数据或改善数据的质量。垃圾进,垃圾出"。
但我认为这种悲观的观点是以错误的方式看待AI。如果我们关于AI进展的核心假设是正确的,那么正确的思考AI的方式不是作为一种数据分析方法,而是作为一个虚拟生物学家,执行生物学家做的所有任务,包括在现实世界中设计和运行实验(通过控制实验室机器人或简单地告诉人类要运行哪些实验 - 就像首席研究员对他们的研究生那样),发明新的生物学方法或测量技术,等等。正是通过加速整个研究过程,AI才能真正加速生物学。我想重复一下这一点,因为这是我谈论AI改变生物学能力时最常见的误解:我不是在谈论AI仅仅作为分析数据的工具。根据这篇文章开头对强大AI的定义,我说的是使用AI来执行、指导和改进生物学家所做的几乎所有事情。
为了更具体地说明我认为加速可能来自哪里,生物学中令人惊讶的大部分进展来自真正少量的发现,通常与广泛的测量工具或技术有关,这些工具或技术允许在生物系统中进行精确但广泛或可编程的干预。每年可能只有~1个这样的重大发现,但它们共同推动了生物学>50%的进展。这些发现如此强大,正是因为它们突破了内在复杂性和数据限制,直接增加了我们对生物过程的理解和控制。每十年几个发现不仅促进了我们对生物学的大部分基本科学理解,而且推动了许多最强大的医疗治疗。
一些例子包括:
CRISPR:一种允许在活体生物中编辑任何基因的技术(用任何其他任意序列替换任何任意基因序列)。自原始技术开发以来,一直在不断改进以靶向特定细胞类型,提高准确性,减少错误基因的编辑 - 所有这些都是在人类身上安全使用所需要的。
各种类型的显微镜技术,用于精确观察正在发生的事情:先进的光学显微镜(具有各种荧光技术、特殊光学等),电子显微镜,原子力显微镜等。
基因组测序和合成,在过去几十年里成本下降了几个数量级。
光遗传学技术,允许通过照射光线使神经元激发。
mRNA疫苗,原则上允许我们设计针对任何东西的疫苗,然后快速调整它(mRNA疫苗当然在COVID期间变得著名)。
细胞疗法,如CAR-T,允许将免疫细胞从体内取出并"重新编程"以攻击,原则上,任何东西。
概念性洞见,如疾病的细菌理论或认识到免疫系统与癌症之间的联系。
我列出所有这些技术是因为我想提出一个关键的主张:我认为如果有更多有才华、有创造力的研究人员,这些发现的速度可能会提高10倍或更多。或者,换句话说,我认为这些发现的智能回报很高,生物学和医学中的其他一切主要都源于它们。
为什么我这么认为？因为对一些问题的回答，我们应该养成习惯在试图确定"智能回报"时问这些问题。首先，这些发现通常是由极少数研究人员做出的，往往是同一批人反复做出，这表明是技能而非随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们往往"本可以"比实际早几年被发现：例如，CRISPR是自然存在于细菌免疫系统中的成分，自80年代就已知，但人们花了25年才意识到它可以被重新利用于一般基因编辑。它们也经常因为科学界缺乏对有前途方向的支持而延迟多年（看看这篇关于mRNA疫苗发明者的简介；类似的故事比比皆是）。第三，成功的项目往往是临时的或最初被认为不太有前途的想法，而不是大规模资金支持的努力。这表明不仅仅是大规模资源集中推动发现，而是创新。
最后，尽管这些发现中的一些具有"串行依赖性"（你需要先做出发现A才能有工具或知识来做出发现B）- 这再次可能造成实验延迟 - 但许多，也许是大多数，是独立的，这意味着可以同时并行进行多个工作。这些事实，以及我作为生物学家的一般经验，都强烈表明，如果科学家更聪明，更善于在人类拥有的大量生物学知识之间建立联系，就有数百个这样的发现等待被发现（再次考虑CRISPR的例子）。AlphaFold/AlphaProteo在解决重要问题方面比人类更有效的成功，尽管经过了数十年精心设计的物理建模，为我们指明了前进的方向（尽管在狭窄领域使用狭窄工具）。
因此，我的猜测是，强大的AI至少可以将这些发现的速度提高10倍，使我们在5-10年内获得未来50-100年的生物学进展。为什么不是100倍？也许是可能的，但这里串行依赖性和实验时间变得重要：在1年内获得100年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵实验设施等事情。我实际上对（可能听起来荒谬的）想法持开放态度，即我们可能在5-10年内获得1000年的进展，但我非常怀疑我们能在1年内获得100年的进展。另一种说法是，我认为有一个不可避免的恒定延迟：实验和硬件设计有一定的"延迟"，需要迭代一定"不可减少"的次数，以学习无法逻辑推导的东西。但在此基础上可能实现大规模并行。
临床试验呢？虽然与它们相关的官僚作业和延迟很多，但事实是，很多（虽然绝不是全部！）它们的缓慢最终源于需要严格评估那些几乎不起作用或模糊起作用的药物。这可悲地适用于今天的大多数疗法：平均的癌症药物仅增加几个月的生存期，同时有显著的副作用需要仔细测量（阿尔茨海默氏病药物也有类似的情况）。这导致了巨大的研究（为了获得统计学力量）和难以权衡的取舍，监管机构通常不擅长做出这些决定，再次是因为官僚作业和利益冲突的复杂性。
当某些东西真的很有效时，进展会快得多：有一个加速批准通道，当效果更大时，批准的难度就小得多。COVID的mRNA疫苗在9个月内获得批准 - 比通常的速度快得多。也就是说，即使在这些条件下，临床试验仍然太慢 - mRNA疫苗可以说应该在~2个月内获得批准。但这种延迟（药物从头到尾约1年）与大规模并行化和对一些但不是太多迭代的需求（"几次尝试"）是非常兼容的，可以在5-10年内实现彻底的转变。更乐观地说，AI支持的生物科学可能会通过开发更好的动物和细胞实验模型（甚至模拟）来减少临床试验中迭代的需求，这些模型在预测人类会发生什么方面更准确。这在开发对抗衰老过程的药物时尤其重要，因为衰老过程持续数十年，我们需要更快的迭代循环。
最后，关于临床试验和社会障碍的话题，值得明确指出的是，生物医学创新在某些方面有一个异常强大的成功部署记录，与其他一些技术形成对比。正如引言中提到的，许多技术尽管在技术上运作良好，但却因社会因素而受到阻碍。这可能暗示对AI能完成的事情持悲观看法。但生物医学是独特的，虽然开发药物的过程过于繁琐，但一旦开发出来，它们通常会成功部署和使用。
总结上述内容，我的基本预测是，AI支持的生物学和医学将允许我们将人类生物学家在未来50-100年内可能实现的进展压缩到5-10年内。我将其称为"压缩的21世纪"：这个想法是，在强大的AI开发出来后，我们将在几年内取得我们本应在整个21世纪取得的所有生物学和医学进展。尽管预测强大的AI在几年内能做什么仍然本质上是困难和推测性的，但问"人类在未来100年内在没有帮助的情况下能做什么？"有一些具体性。仅仅看看我们在20世纪取得的成就，或从21世纪的前20年推断，或问"10个CRISPR和50个CAR-T"会带来什么，都为我们可能从强大的AI中期待的总体进展水平提供了实际、有根据的方法。
以下我试图列出我们可能期待的内容。这并不基于任何严格的方法，在细节上几乎肯定会被证明是错误的，但它试图传达我们应该期待的总体革命性水平：
可靠地预防和治疗几乎所有自然传染玻考虑到20世纪对传染病的巨大进展，想象我们可以在压缩的21世纪"完成工作"并不激进。mRNA疫苗和类似技术已经指明了"针对任何东西的疫苗"的方向。传染病是否从世界上完全根除（而不仅仅是在某些地方）取决于贫困和不平等的问题，这将在第3节讨论。
消除大多数癌症。近几十年来，癌症死亡率每年下降约2%；因此，按照人类科学目前的步伐，我们有望在21世纪消除大多数癌症。一些亚型已经基本治愈（例如，使用CAR-T疗法治疗某些类型的白血病），我可能对非常选择性的药物更感兴趣，这些药物可以在癌症早期靶向并防止其生长。AI还将使可能根据癌症的个性化基因组非常精细地调整治疗方案 - 这在今天是可能的，但在时间和人类专业知识方面非常昂贵，AI应该允许我们扩大规模。死亡率和发病率都可能降低95%或更多。话虽如此，癌症是极其多样和适应性强的，可能是这些疾病中最难完全消灭的。如果一些罕见、难治的恶性肿瘤持续存在，这并不令人惊讶。
非常有效地预防和有效治愈遗传疾玻大大改进的胚胎筛查可能使预防大多数遗传疾病成为可能，而CRISPR的一些更安全、更可靠的后代可能会治愈现有人群中的大多数遗传疾玻然而，影响大部分细胞的全身性疾病可能是最后的顽固问题。
预防阿尔茨海默玻我们在弄清楚阿尔茨海默病的原因方面遇到了很大困难（它somehow与β-淀粉样蛋白有关，但实际细节似乎非常复杂）。这似乎正是可以通过更好的测量工具来解决的问题类型，这些工具可以隔离生物学效应；因此我对AI解决它的能力持乐观态度。一旦我们真正理解发生了什么，很有可能最终可以通过相对简单的干预来预防它。话虽如此，已经存在的阿尔茨海默病造成的损害可能很难逆转。
改善大多数其他疾病的治疗。这是一个包罗万象的类别，包括糖尿并肥胖、心脏并自身免疫疾病等其他疾玻这些疾病中的大多数似乎"比癌症和阿尔茨海默病更容易"解决，而且在许多情况下已经在急剧下降。例如，心脏病死亡率已经下降超过50%，像GLP-1激动剂这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进展。
生物自由。过去70年里，避孕、生育、体重管理等方面取得了进展。但我怀疑AI加速的生物学将大大扩展可能性：体重、外表、生殖和其他生物过程将完全在人们的控制之下。我们将这些归类为生物自由：每个人都应该有权选择他们想要成为什么样的人，并以最吸引他们的方式生活。当然，关于全球平等获取这些技术将会有重要问题；第3节将讨论这些。
人类寿命翻倍。这可能看起来很激进，但20世纪生命期望值几乎增加了2倍（从约40岁增加到约75岁），所以"压缩的21世纪"再次将其翻倍到150岁是"符合趋势"的。显然，减缓实际衰老过程所涉及的干预措施将与上个世纪预防（主要是儿童）过早死亡所需的干预措施不同，但变化的幅度并非前所未有。具体来说，已经存在一些药物可以将大鼠的最大寿命增加25-50%，而且副作用有限。一些动物（例如某些类型的海龟）已经能活200年，所以人类显然没有达到某种理论上的上限。猜测一下，最重要的可能是需要可靠的、不会产生古德哈特效应的人类衰老生物标志物，因为这将允许快速迭代实验和临床试验。一旦人类寿命达到150岁，我们可能能够达到"逃逸速度"，为当今大多数活着的人赢得足够的时间，让他们能够活得想活多久就活多久，尽管这在生物学上当然不能保证是可能的。
值得看看这个列表，并思考如果所有这些在7-12年内实现（这将符合激进的AI时间表），世界会有多么不同。不用说，这将是一个难以想象的人道主义胜利，一次性消除了困扰人类几千年的大多数祸患。我的许多朋友和同事正在抚养孩子，当这些孩子长大时，我希望任何对疾病的提及对他们来说都会像坏血并天花或黑死病对我们来说那样。那一代人还将受益于增加的生物自由和自我表达，如果幸运的话，他们也可能能够活得想活多久就活多久。
很难高估这些变化对除了预期强大AI的小社区之外的每个人来说会有多么令人惊讶。例如，目前数千名美国经济学家和政策专家正在辩论如何保持社会保障和医疗保险的偿付能力，更广泛地说，如何控制医疗保健成本（大部分由70岁以上的人消费，特别是那些患有癌症等终末期疾病的人）。如果所有这些都实现了，这些项目的情况可能会得到根本性的改善，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，比如如何确保新技术的广泛获取，但值得思考的是，即使生物学是唯一被AI成功加速的领域，世界将会发生多大变化。
神经科学和心理
在上一节中，我主要关注了物理疾病和一般生物学，没有涉及神经科学或心理健康。但神经科学是生物学的一个分支学科，心理健康与身体健康同样重要。事实上，如果有什么不同的话，心理健康对人类福祉的直接影响可能更大。数亿人因成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、精神病或智力障碍等问题而生活质量很低。更多数十亿人struggle with日常问题，这些问题often can be interpreted as这些严重临床障碍的轻微版本。与一般生物学一样，可能不仅仅是解决问题，还可以改善人类体验的基线质量。
我为生物学制定的基本框架同样适用于神经科学。该领域的推进通常源于少量发现，这些发现通常与测量或精确干预的工具有关 - 在上面列出的那些中，光遗传学是一项神经科学发现，最近CLARITY和扩展显微镜技术也是同样性质的进展，此外许多一般细胞生物学方法直接应用于神经科学。我认为AI将以类似的方式加速这些进展的速度，因此"100年的进展压缩到5-10年"的框架以同样的方式适用于神经科学，原因也相同。与生物学一样，20世纪神经科学的进展是巨大的 - 例如，直到20世纪50年代我们才理解神经元如何以及为什么发放。因此，预期AI加速的神经科学在几年内产生快速进展似乎是合理的。
我们应该在这个基本图景中添加一点，那就是我们在过去几年中学到的一些关于AI本身的东西可能会帮助推进神经科学，即使它继续只由人类完成。可解释性是一个明显的例子：虽然生物神经元表面上以完全不同的方式运作（它们通过尖峰和often尖峰率进行通信，所以存在人工神经元中不存在的时间元素，而且一堆与细胞生理学和神经递质相关的细节大大修改了它们的运作），但"简单单元的分布式、训练过的网络如何协同工作执行重要计算"这个基本问题是相同的，我强烈怀疑在大多数有趣的计算和电路问题中，个别神经元通信的细节将被抽象掉。仅举一个例子，AI系统中的可解释性研究人员发现的计算机制最近在小鼠大脑中被重新发现。
在人工神经网络上做实验比在真实神经网络上做实验要容易得多（后者通常需要切开动物大脑），所以可解释性很可能成为提高我们对神经科学理解的工具。此外，强大的AI系统本身可能能够比人类更好地开发和应用这个工具。
然而，除了可解释性之外，我们从AI中学到的关于智能系统如何训练的知识应该（尽管我不确定它是否已经）在神经科学中引发革命。当我在神经科学领域工作时，很多人关注我现在认为是错误的学习问题，因为scaling hypothesis / bitter lesson这个概念还不存在。简单目标函数加上大量数据可以驱动极其复杂行为的想法，使理解目标函数和架构偏差变得更有趣，而理解涌现计算的细节变得不那么有趣。我近年来没有密切关注这个领域，但我有一种模糊的感觉，计算神经科学家还没有完全吸收这个教训。我对scaling hypothesis的态度一直是"啊哈 - 这在高层次上解释了智能如何工作以及它如何如此容易进化"，但我认为这不是average神经科学家的观点，部分原因是scaling hypothesis作为"智能的秘密"甚至在AI内部也没有被完全接受。
我认为神经科学家应该尝试将这个基本洞见与人脑的特殊性（生物物理限制、进化历史、拓扑结构、运动和感觉输入/输出的细节）结合起来，以试图解决神经科学的一些关键难题。有些人可能正在这么做，但我怀疑还不够，而AI神经科学家将能够更有效地利用这个角度来加速进展。
我预计AI将通过四个不同的途径加速神经科学进展，所有这些途径都有望共同治愈心理疾病并提高功能：
传统分子生物学、化学和遗传学。这基本上与第1节一般生物学的故事相同，AI可能通过相同的机制加速它。有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等，AI可以帮助我们发明更多这样的药物。AI可能还可以加速对心理疾病遗传基础的研究。
精细神经测量和干预。这是能够测量大量个别神经元或神经元电路在做什么，并intervene to change它们的行为的能力。光遗传学和神经探针是能够在活体生物中进行测量和干预的技术，一些非常先进的方法（如分子计时器可以读取大量个别神经元的发放模式）也已被提出，并在原则上似乎可能。
先进的计算神经科学。如上所述，现代AI的具体洞见和整体观念可能都能有效地应用于系统神经科学的问题，包括可能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。
行为干预。鉴于关注神经科学的生物学方面，我没有太多提到，但精神病学和心理学当然在20世纪开发了广泛的行为干预repertoire；显而易见，AI也可以加速这些，包括开发新方法和帮助患者坚持现有方法。更广泛地说，"AI教练"的想法 - 一个始终帮助你成为最好的自己，研究你的互动并帮助你学会更有效的人 - 似乎非常有前途。
我猜测，这四个进展途径共同作用，就像对待身体疾病一样，即使没有AI参与，也有望在未来100年内导致大多数心理疾病的治愈或预防 - 因此可能在5-10年AI加速的时间内完成。具体来说，我猜测会发生的是这样的：
大多数心理疾病可能可以被治愈。我不是精神病学疾病方面的专家（我在神经科学领域的时间花在构建探针研究小组神经元上），但我猜测像PTSD、抑郁症、精神分裂症、成瘾等疾病可以通过上述四个方向的某种组合得到弄清并非常有效地治疗。答案可能是"某些生化上出了问题"（尽管可能非常复杂）和"神经网络在高层次上出了问题"的某种组合。也就是说，这是一个系统神经科学问题 - 尽管这并不否定上面讨论的行为干预的影响。测量和干预的工具，特别是在活人身上，似乎可能导致快速迭代和进展。
非常"结构性"的状况可能更难，但并非不可能。有一些证据表明，精神病与明显的神经解剖学差异有关 - 精神病患者的一些脑区simply更小或发育不良。精神病患者也被认为从小就缺乏同理心；无论他们的大脑有什么不同，可能一直都是那样。智力障碍和其他一些情况可能也是如此。重构大脑听起来很难，但这似乎也是一项具有高智能回报的任务。也许有某种方法可以诱导成年大脑进入更早或更具可塑性的状态，在那里它可以被重塑。我非常不确定这有多可能，但我的直觉是对AI可以在这里发明什么持乐观态度。
有效的遗传预防心理疾病似乎是可能的。大多数心理疾病部分是可遗传的，全基因组关联研究开始在识别相关因素方面取得进展，这些因素通常数量众多。可能会通过胚胎筛查预防大多数这些疾病，类似于对身体疾病的情况。一个区别是精神病更可能是多基因的（许多基因contribute），所以由于复杂性，unknowingly选择against与疾病相关的积极特征的风险增加。奇怪的是，然而，近年来GWAS研究似乎表明这些相关性可能被夸大了。无论如何，AI加速的神经科学可能有助于我们弄清这些事情。当然，对复杂特征进行胚胎筛查会引发一些社会问题，并且会有争议，尽管我猜大多数人会支持对严重或致残的心理疾病进行筛查。
我们不认为是临床疾病的日常问题也将得到解决。我们大多数人都有日常心理问题，通常不被认为达到临床疾病的程度。有些人容易发怒，有些人难以集中注意力或经常昏昏欲睡，有些人害怕或焦虑，或对变化反应不好。今天，已经存在帮助提高警觉性或注意力的药物（咖啡因、莫达非尼、利他林），但与许多其他之前的领域一样，可能还有更多可能性。可能还有许多这样的药物尚未被发现，也可能有全新的干预方式，如靶向光刺激（见上文的光遗传学）或磁常考虑到我们在20世纪开发了多少种调节认知功能和情绪状态的药物，我对"压缩的21世纪"持非常乐观态度，届时每个人都可以让自己的大脑表现得更好一些，并拥有更充实的日常体验。
人类的基线体验可以好得多。更进一步，许多人都经历过非凡的启示时刻、创造性灵感、同情心、满足感、超越感、爱、美或冥想平静。这些体验的特征和频率因人而异，在同一个人在不同时间也会有很大不同，有时也可能由各种药物触发（尽管经常伴有副作用）。所有这些表明"可能体验的空间"非常广阔，人们生活中可能有更大比例由这些非凡时刻组成。可能还可以全面提高各种认知功能。这可能是"生物自由"或"延长寿命"的神经科学版本。
一个经常在科幻描述AI时出现的话题，但我故意没有在这里讨论的是"思维上传"，即捕捉人脑的模式和动态并将其实例化在软件中的想法。这个话题本身就可以成为一篇文章的主题，但简单地说，虽然我认为上传在原则上几乎肯定是可能的，但在实践中，即使有强大的AI，它也面临着重大的技术和社会挑战，可能使其超出我们正在讨论的5-10年窗口。
总之，AI加速的神经科学可能会大大改善大多数心理疾病的治疗，甚至治愈它们，并大大扩展"认知和心理自由"以及人类的认知和情感能力。它将像上一节描述的身体健康改善一样激进。也许世界在外表上不会有明显的不同，但人类体验的世界将成为一个更美好、更人性化的地方，也是一个提供更多自我实现机会的地方。我也怀疑改善心理健康将缓解许多其他社会问题，包括那些看似政治或经济的问题。
经济发展和贫困
前两节讨论的是开发新技术来治愈疾病和改善人类生活质量。然而,从人道主义的角度来看,一个明显的问题是:"每个人都能获得这些技术吗?"
治愈一种疾病是一回事,从世界上根除这种疾病是另一回事。更广泛地说,许多现有的健康干预措施还没有在世界各地应用,同样的情况也适用于(非健康)技术改进。另一种说法是,世界上许多地方的生活水平仍然极度贫困:撒哈拉以南非洲的人均GDP约为2000美元,而美国约为75000美元。如果AI进一步提高了发达国家的经济增长和生活质量,而对发展中国家几乎没有帮助,我们应该将其视为一个可怕的道德失败,是对前两节真正的人道主义胜利的污点。理想情况下,强大的AI应该帮助发展中世界赶上发达世界,即使它正在彻底改变后者。
我不像相信AI能发明基础技术那样确信它能解决不平等和经济增长问题,因为技术有如此明显的高智能回报(包括绕过复杂性和缺乏数据的能力),而经济涉及许多来自人类的约束,以及大量的内在复杂性。我有点怀疑AI是否能解决著名的"社会主义计算问题",我也不认为政府会(或应该)将经济政策交给这样一个实体,即使它能做到。还有一些问题,比如如何说服人们接受有效但他们可能怀疑的治疗。
发展中世界面临的挑战因私营和公共部门普遍存在的腐败而变得更加复杂。腐败造成了一个恶性循环:它加剧了贫困,而贫困反过来又滋生了更多腐败。AI驱动的经济发展计划需要应对腐败、薄弱的制度和其他非常人性化的挑战。
尽管如此,我确实看到了重要的乐观理由。疾病已经被根除,许多国家已经从贫穷变得富有,很明显,这些任务中涉及的决策表现出高智能回报(尽管存在人为限制和复杂性)。因此,AI可能能够比目前做得更好。也可能有针对性的干预措施可以绕过人为限制,AI可以专注于此。更重要的是,我们必须尝试。AI公司和发达国家的政策制定者都需要尽自己的一份力,确保发展中世界不被遗漏;道德要求太大了。因此,在本节中,我将继续提出乐观的观点,但请记住,成功并不能保证,取决于我们的集体努力。
以下是我对强大AI开发后5-10年内发展中世界可能发生的情况的一些猜测:
健康干预的分配。我最乐观的领域可能是在全世界范围内分配健康干预措施。疾病实际上已经被自上而下的运动根除:天花在20世纪70年代被完全消灭,脊髓灰质炎和麦地那龙线虫病每年的病例不到100例,几乎被根除。数学上复杂的流行病学建模在疾病根除运动中发挥着积极作用,似乎很可能有空间让比人类更聪明的AI系统做得比人类更好。分配的物流也可能得到极大的优化。作为GiveWell的早期捐助者,我学到的一件事是,一些健康慈善机构比其他机构有效得多;希望AI加速的努力会更有效。此外,一些生物学进展实际上使分配物流变得更加简单:例如,疟疾一直难以根除,因为它需要在每次疾病发作时进行治疗;只需要一次administration的疫苗使物流变得更简单(事实上,这种疟疾疫苗目前正在开发中)。甚至可能有更简单的分配机制:原则上,一些疾病可以通过针对其动物载体来根除,例如释放感染了阻止其携带疾病的细菌的蚊子(然后感染所有其他蚊子),或者simply使用基因驱动来消灭蚊子。这需要一个或几个集中行动,而不是必须单独治疗数百万人的协调运动。总的来说,我认为5-10年是一个合理的时间表,可以让AI驱动的健康益处的很大一部分(也许50%)传播到世界上最贫穷的国家。一个好的目标可能是,在强大AI出现5-10年后,发展中世界至少在健康方面比今天的发达世界更好,即使它继续落后于发达世界。当然,实现这一目标将需要全球健康、慈善、政治倡导和许多其他努力方面的巨大努力,AI开发者和政策制定者都应该提供帮助。
经济增长。发展中世界能否在健康方面,而且在整个经济领域迅速赶上发达世界?这是有先例的:在20世纪最后几十年,几个东亚经济体实现了持续约10%的年实际GDP增长率,使它们能够赶上发达世界。人类经济规划者做出了导致这一成功的决定,不是通过直接控制整个经济,而是通过拉动几个关键杠杆(如出口主导增长的产业政策,抵制依赖自然资源财富的诱惑);plausible "AI财政部长和央行行长"可能会复制或超过这10%的成就。一个重要问题是如何让发展中国家政府采用它们,同时尊重自决原则 - 一些可能会热情接受,但其他可能会持怀疑态度。乐观的一面是,上一点中的许多健康干预可能会自然地增加经济增长:根除艾滋病/疟疾/寄生虫将对生产力产生变革性影响,更不用说一些神经科学干预(如改善情绪和注意力)对发达和发展中世界alike的经济效益。最后,非健康AI加速技术(如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等)可能simply通过市场机制渗透到世界各地;例如,即使是手机也quickly渗透到撒哈拉以南非洲,而不需要慈善努力。在更消极的一面,虽然AI和自动化有许多潜在好处,但它们也给经济发展带来挑战,特别是对那些还没有工业化的国家。找到确保这些国家在日益自动化的时代仍能发展和改善经济的方法是经济学家和政策制定者需要解决的一个重要挑战。总的来说,一个梦想的scenario - 也许是一个值得努力的目标 - 将是发展中世界20%的年GDP增长率,其中10%来自AI支持的经济决策,10%来自AI加速技术的自然传播,包括但不限于健康。如果实现,这将使撒哈拉以南非洲在5-10年内达到中国目前的人均GDP水平,同时将发展中世界的大部分地区提高到高于目前美国GDP的水平。再次强调,这是一个梦想的scenario,不是默认情况下会发生的:这是我们所有人必须共同努力使之更有可能发生的事情。
粮食安全。20世纪作物技术的进步,如更好的肥料和农药、更多自动化和更有效的土地利用,极大地提高了作物产量,使数百万人免于饥饿。基因工程目前正在进一步改善许多作物。找到更多方法来做到这一点 - 以及使农业供应链更加高效 - 可能给我们带来AI驱动的第二次绿色革命,帮助缩小发展中世界和发达世界之间的差距。
减缓气候变化。气候变化在发展中世界将感受到更强烈,阻碍其发展。我们可以预期,AI将导致减缓或防止气候变化的技术改进,从大气碳移除和清洁能源技术到实验室培育的肉类,减少我们对碳密集型工厂养殖的依赖。当然,如上所述,技术并不是限制气候变化进展的唯一因素 - 与本文讨论的所有其他问题一样,人类社会因素很重要。但有充分理由认为,AI增强的研究将给我们提供手段,使减缓气候变化的成本大大降低,disruption更少,使许多反对意见变得无关紧要,并使发展中国家能够取得更多经济进步。
国家内部的不平等。我主要谈论不平等作为一个全球现象(我确实认为这是其最重要的表现),但当然不平等也存在于国家内部。随着先进的健康干预措施,特别是寿命的彻底增加或认知增强药物,当然会有valid的担忧,这些技术"只为富人服务"。我对发达国家的国内不平等更乐观,原因有二。首先,市场在发达国家运作得更好,而市场通常擅长随着时间的推移降低高价值技术的成本。其次,发达国家的政治机构对公民的反应更敏感,有更大的国家能力来执行普及访问计划 - 我预计公民会要求获得如此彻底改善生活质量的技术。当然,这种要求不是注定会成功的 - 这里是另一个我们集体必须尽一切努力确保公平社会的地方。财富不平等(而不是获取拯救生命和增强生命技术的不平等)是一个单独的问题,似乎更难解决,我在第5节讨论这个问题。
退出问题。在发达世界和发展中世界alike的一个担忧是人们选择不接受AI支持的好处(类似于反疫苗运动,或更广泛的卢德运动)。可能会出现不好的反馈循环,例如,最不能做出good决定的人选择退出precisely那些改善他们决策能力的技术,导致ever-increasing差距,甚至创造一个反乌托邦的下层阶级(一些研究人员认为这将破坏民主,我在下一节进一步讨论这个话题)。这将,再次,给AI的positive进展蒙上道德污点。这是一个难以解决的问题,因为我认为在伦理上不OK强迫人们,但我们至少可以尝试提高人们的科学理解 - 也许AI itself可以帮助我们做到这一点。一个hopeful的迹象是,历史上反技术运动的bark比bite更大:抨击现代技术很流行,但最终大多数人都会采用它,至少当it's a matter of个人选择时。个人倾向于采用大多数健康和消费技术,而真正受阻的技术,如核能,往往是集体政治决策。
总的来说,我对迅速将AI的生物学进展带给发展中世界的人们持乐观态度。我希望,尽管不确定,AI也能实现前所未有的经济增长率,使发展中世界至少超过发达世界现在的水平。我担心发达世界和发展中世界的"退出"问题,但怀疑它会随着时间的推移减弱,并且AI可以帮助加速这一过程。这不会是一个完美的世界,落后的人不会完全赶上,至少在最初的几年内不会。但通过我们的强烈努力,我们可能能够使事情朝着正确的方向快速发展。如果我们这样做,我们至少可以兑现我们对地球上每个人应尽的尊严和平等的承诺。
和平与治理
假设前三节中的所有内容都进展顺利：疾并贫困和不平等显著减少，人类体验的基线大幅提高。但这并不意味着所有主要的人类苦难原因都得到解决。人类仍然对彼此构成威胁。虽然技术进步和经济发展导致民主和和平的趋势存在，但这是一个非常松散的趋势，经常（且最近）出现倒退。在20世纪初，人们认为他们已经将战争抛在身后；然后出现了两次世界大战。30年前，弗朗西斯福山写了关于"历史的终结"和自由民主的最终胜利；这还没有发生。20年前，美国政策制定者相信与中国的自由贸易会随着中国变得更富裕而使其自由化；这完全没有发生，我们现在似乎正走向与复兴的专制集团的第二次冷战。而且合理的理论表明，互联网技术实际上可能有利于专制主义，而不是最初认为的民主（例如在"阿拉伯之春"时期）。因此，试图理解强大的AI将如何与这些和平、民主和自由的问题相交叉似乎很重要。
不幸的是，我看不到强有力的理由相信AI会优先或结构性地推进民主和和平，就像我认为它会结构性地推进人类健康和缓解贫困一样。人类冲突是对抗性的，原则上AI可以帮助"好人"和"坏人"。如果有什么的话，一些结构性因素似乎令人担忧：AI似乎可能实现更好的宣传和监视，这两者都是独裁者工具箱中的主要工具。因此，我们作为个人行动者有责任将事情朝着正确的方向倾斜：如果我们希望AI有利于民主和个人权利，我们将不得不为这一结果而战。我对此的感受比对国际不平等的感受更强烈：自由民主的胜利和政治稳定并不能保证，也许甚至不太可能，这将需要我们所有人付出巨大的牺牲和承诺，就像过去经常发生的那样。
我认为这个问题有两个部分：国际冲突和国家的内部结构。在国际方面，当强大的AI被创造出来时，民主国家在世界舞台上占据上风似乎非常重要。AI驱动的专制主义似乎太可怕了，不敢考虑，所以民主国家需要能够设定强大AI被引入世界的条件，既要避免被独裁者压倒，又要防止在独裁国家内部发生侵犯人权的行为。
我目前猜测最好的方法是通过"协约战略"，在这种战略中，民主国家联盟寻求通过确保其供应链、快速扩展和阻止或延迟对手获取关键资源（如芯片和半导体设备）来获得明确的优势（即使只是暂时的）。这个联盟一方面会使用AI来实现强大的军事优势（大棒），同时也会提供将强大AI的好处（胡萝卜）分配给越来越多的国家，以换取支持联盟促进民主的战略（这有点类似于"和平利用原子能"）。联盟的目标将是获得越来越多的世界支持，孤立我们最坏的对手，最终使他们处于这样一种位置：他们最好接受与世界其他地方相同的交易：放弃与民主国家竞争，以获得所有利益并避免与更强大的对手作战。
如果我们能做到这一切，我们将拥有一个由民主国家在世界舞台上领导的世界，它们拥有经济和军事力量来避免被专制政权破坏、征服或破坏，并可能将其AI优势转化为持久的优势。这可能乐观地导致一个"永恒的1991年" - 一个民主国家占据上风，福山的梦想实现的世界。再次强调，这将非常难以实现，特别需要私营AI公司与民主政府之间的密切合作，以及关于胡萝卜和大棒之间平衡的非常明智的决策。
即使所有这些都进展顺利，仍然留下了每个国家内部民主与专制之间斗争的问题。显然很难预测这里会发生什么，但我确实对给定一个民主国家控制最强大AI的全球环境持一些乐观态度，那么AI实际上可能在everywhere结构性地有利于民主。特别是，在这种环境中，民主政府可以利用其优越的AI来赢得信息战：它们可以counter专制政权的影响和宣传行动，甚至可能通过以专制政权在技术上无法阻止或监控的方式提供信息渠道和AI服务来创造一个全球自由信息环境。可能不需要传播宣传，只需counter恶意攻击并解除对信息自由流动的阻塞。虽然不是立即，但这样的平等竞争环境有很好的机会逐渐将全球治理倾向于民主，原因有几个。
首先，第1-3节中提到的生活质量的提高应该，在其他条件相同的情况下，促进民主：历史上它们至少在某种程度上做到了这一点。特别是，我预计心理健康、福祉和教育的改善会增加民主，因为这三者与支持威权领导人呈负相关。一般来说，当人们的其他需求得到满足时，他们会希望有更多的自我表达，而民主除其他外还是一种自我表达的形式。相反，威权主义蓬勃发展于恐惧和怨恨之中。
第二，自由信息确实有很好的机会破坏威权主义，只要威权主义者无法审查它。未经审查的AI还可以为个人带来强大的工具来破坏压制性政府。压制性政府通过否认人们某种common knowledge而生存，阻止他们意识到"皇帝没有穿衣服"。例如，Sra Popovi帮助推翻了塞尔维亚的米洛舍维奇政府，他广泛写了关于在心理上剥夺独裁者权力的技术，打破咒语并rallying支持反对独裁者。一个超人类有效的AI版本的Popovi（其技能似乎有高智能回报）在每个人的口袋里，而且独裁者无力阻止或审查，可能会为世界各地的异见人士和改革者创造有利条件。再次强调，这将是一场长期和持久的斗争，胜利并不能保证，但如果我们以正确的方式设计和建造AI，at least这可能是一场everywhere自由的倡导者有优势的斗争。
与神经科学和生物学一样，我们也可以问事情如何能"比正常更好" - 不仅是如何避免专制，而且如何使民主比今天更好。即使在民主国家内部，不公正也时有发生。法治社会向其公民承诺，每个人在法律面前都是平等的，每个人都有基本人权，但显然人们并不总是在实践中得到这些权利。这一承诺即使部分实现也是值得骄傲的，但AI能否帮助我们做得更好？
例如，AI能否通过使决策和过程更加公正来改善我们的法律和司法系统？今天，人们主要担心在法律或司法环境中AI系统会成为歧视的原因，这些担忧很重要，需要防范。同时，民主的活力取决于利用新技术来改善民主制度，而不仅仅是应对风险。一个真正成熟和成功的AI实施有可能减少偏见，对每个人都更公平。
几个世纪以来，法律系统面临着这样一个困境：法律旨在保持公正，但本质上是主观的，因此必须由有偏见的人来解释。试图使法律完全机械化并不奏效，因为现实世界是混乱的，不能总是用数学公式捕捉。相反，法律系统依赖于臭名昭著的不精确标准，如"残忍和不寻常的惩罚"或"完全没有救赎社会重要性"，然后由人类解释 - 并且经常以显示偏见、偏袒或任意性的方式解释。加密货币中的"智能合约"之所以没有彻底改变法律，是因为普通代码不够聪明，无法裁决太多有趣的事情。但AI可能足够聪明做到这一点：它是第一个能够以可重复和机械的方式做出广泛、模糊判断的技术。
我并不是建议我们literally用AI系统取代法官，但将公正性与理解和处理混乱、现实世界情况的能力结合起来，感觉应该对法律和正义有一些serious的积极应用。at least，这样的系统可以与人类一起工作，作为决策的辅助工具。透明度在任何这样的系统中都很重要，一门成熟的AI科学conceivably可以提供它：这种系统的训练过程可以被广泛研究，先进的可解释性技术可以用来看inside最终模型并评估其隐藏的偏见，这是对人类simply不可能的。这种AI工具还可以用于监控司法或警察环境中基本权利的侵犯，使宪法更具自我执行性。
同样，AI可以用来汇总意见并在公民之间达成共识，解决冲突，找到共同点，寻求妥协。计算民主项目已经在这个方向上进行了一些早期的想法，包括与Anthropic的合作。一个更有见地和更深思熟虑的公民显然会加强民主制度。
AI还有一个clear的机会用于帮助提供原则上对每个人都可用但实际上often严重缺乏的政府服务，而且在某些地方比其他地方更糟糕。这包括健康服务、机动车管理局、税收、社会保障、建筑code执行等。拥有一个非常thoughtful和informed的AI，其工作是以你能理解的方式给你政府legally应该给你的一切 - 并且还帮助你comply with经常令人困惑的政府规则 - 将是一件大事。提高国家能力既有助于实现法律面前人人平等的承诺，又增强对民主治理的尊重。poorly implemented的服务目前是对政府cynicism的主要驱动因素。
所有这些都是somewhat vague的想法，正如我在本节开头所说，我对它们的可行性的信心远不如对生物学、神经科学和减少贫困方面的进展。它们可能是unrealistically乌托邦式的。但重要的是要有一个雄心勃勃的愿景，愿意梦想big并尝试things out。将AI视为自由、个人权利和法律面前平等的保证人的愿景太强大了，不能不为之奋斗。21世纪支持AI的政体可能既是个人自由的更强大保护者，又是一个希望的灯塔，帮助使自由民主成为全世界都想要采用的政府形式。
工作与意义
即使前四节中的所有内容都进展顺利 - 不仅我们缓解了疾并贫困和不平等，而且自由民主成为了主导的政府形式，现有的自由民主国家也变得更好 - 至少还有一个重要问题remain。"我们生活在这样一个技术先进且公平decent的世界真是太好了，"有人可能会反对说，"但是当AI做everything时，人类如何获得意义？说到底，他们如何在经济上survive？"
我认为这个问题比其他问题更难。我不是说我对此necessarily更悲观than对其他问题（尽管我确实看到挑战）。我的意思是它更模糊，更难提前预测，因为它涉及社会如何组织的宏观问题，这些问题往往只能随着时间以decentralized的方式解决。例如，历史上的hunter-gatherer社会可能会想象没有狩猎和各种与狩猎相关的宗教仪式生活是毫无意义的，并且可能会想象我们这个well-fed的技术社会缺乏目的。他们也可能不理解我们的经济如何为每个人提供，或者人们在一个机械化的社会中能够有用地服务什么功能。
尽管如此，至少值得说几句话，同时记住这一节的brevity绝不应该被视为我不认真对待这些问题的标志 - 相反，这是缺乏明确答案的标志。
关于意义的问题，我认为相信你undertake的任务毫无意义simply因为AI可以做得更好，这很可能是一个错误。大多数人并不是世界上任何事情的最佳，这似乎并不特别困扰他们。当然，今天他们仍然可以通过比较优势contribute，并可能从他们产生的经济价值中derive meaning，但人们also greatly enjoy不产生经济价值的活动。我花大量时间玩视频游戏、游泳、在外面散步、和朋友聊天，所有这些都产生零经济价值。我可能会spend一天试图在视频游戏中变得更好，或者更快地骑自行车上山，我并不really care某人somewhere在这些事情上做得much better。无论如何，我认为意义主要来自人际关系和联系，而不是经济劳动。人们确实want一种成就感，甚至是竞争感，在后AI世界，花years尝试一些非常difficul的task with a complex strategy将是完全possible的，类似于人们today when they embark研究项目、试图成为好莱坞演员或创立公司。事实(a)某处的AI原则上可以做得更好，以及(b)这个任务不再是全球经济中经济奖励的元素，在我看来并不太重要。
经济部分实际上在我看来比意义部分更difficult。在本节中，我所说的"经济"是指大多数或所有人类可能无法为sufficiently advanced的AI驱动经济meaningful contribute的可能问题。这是一个比不平等问题更宏观的问题，especially获取新技术的不平等，我在第3节中讨论过这个问题。
首先，在短期内，我同意那些认为comparative advantage将继续使人类relevant并事实上increase其productivity的argument，甚至可能在某些方面level the playing field between humans。只要AI只是在90%的given job中better，其他10%将导致人类变得highly leveraged，increasing compensation并事实上creating一堆新的人类工作来complement和amplify AI擅长的东西，such that "10%"expands以continue employ almost everyone。事实上，即使AI can do 100%的things better than humans，但在某些任务上remain inefficient或expensive，或者如果人类和AI的resource inputs meaningfully different，那么comparative advantage的逻辑continue to apply。人类可能在significant time内maintain相对（甚至绝对）优势的一个area是physical world。因此，我认为人类经济可能会continue to make sense even a little past我们达到"数据中心里的天才国度"的point。
然而，我确实认为in the long run AI将变得如此broadly effective和cheap，以至于这将不再适用。At that point我们current的经济setup将不再make sense，需要进行更广泛的societal conversation about经济应该如何组织。
虽然这可能听起来crazy，但事实是文明已经成功地navigated过去的major经济shifts：从狩猎采集到农业，从农业到封建主义，从封建主义到工业主义。我怀疑需要一些new and stranger的thing，这是today no one has做得好的设想。It could be as simple as everyone都有一个large universal basic income，尽管我怀疑这只会是solution的一small part。It could be AI系统的资本主义经济，然后根据一些secondary economy of what AI系统认为在人类中makes sense to reward（based on最终derived from人类价值观的some judgment）给人类分配资源（huge amounts of them，since overall经济pie将是gigantic）。Perhaps经济runs on Whuffie points。Or perhaps人类will continue to be economically valuable after all，以一些not anticipated by usual经济模型的方式。所有这些solutions都有tons of possible问题，没有lots of iteration和experimentation就不可能知道它们是否会make sense。And as with其他一些挑战一样，我们likely将have to fight to get a good outcome here：exploitative或dystopian方向clearly also possible并且必须被prevented。关于这些问题可以写much more，我希望在later time这么做。
总结
通过上述各种主题,我试图描绘出一个愿景 - 如果人工智能一切顺利,这个世界既有可能实现,又比今天的世界好得多。我不知道这个世界是否现实,即使是现实的,也不会在没有许多勇敢和dedicated的人付出巨大努力和struggle的情况下实现。每个人(包括AI公司!)都需要尽自己的一份力来预防风险并充分实现收益。
但这是一个值得为之奋斗的世界。如果所有这些真的在5到10年内发生 - 战胜大多数疾并生物和认知自由的增长、数十亿人摆脱贫困并分享新技术、自由民主和人权的复兴 - 我怀疑每个目睹这一切的人都会惊讶于它对他们的影响。我不是指亲身受益于所有新技术的体验,尽管那肯定会很amazing。我指的是watching一套长期持有的理想突然在我们面前实现的体验。我认为许多人会被它感动得流泪。
在写这篇文章的过程中,我注意到一个有趣的tension。从某种意义上说,这里描绘的愿景非常激进:这不是几乎任何人期望在下一个十年发生的事情,而且可能会被许多人视为荒谬的幻想。有些人甚至可能不认为它是可取的;它体现了并非每个人都同意的价值观和政治选择。但同时,它又有一些显而易见的东西 - 一些注定的东西 - 好像许多不同的尝试去设想一个美好的世界inevitably会大致引向这里。
在Iain M. Banks的《The Player of Games》中,主角 - 一个名为Culture的社会成员,这个社会基于与我在这里描述的原则不同的原则 - 前往一个压抑的、军国主义的帝国,那里的领导权是通过在一个复杂的战斗游戏中的竞争来决定的。然而,这个游戏足够复杂,以至于玩家在游戏中的策略往往反映了他们自己的政治和哲学观点。主角成功地在游戏中击败了皇帝,showing that他的价值观(Culture的价值观)代表了一个winning strategy,即使在一个由基于残酷竞争和适者生存的社会设计的游戏中。Scott Alexander的一篇著名文章有相同的论点 - 竞争是自我挫败的,并倾向于导致一个基于同情和合作的社会。"道德宇宙的弧线"是另一个类似的概念。
我认为Culture的价值观是一个winning strategy,因为它们是一百万个小决定的总和,这些决定具有明确的道德力量,并倾向于将每个人拉到同一边。基本的人类fairness、合作、好奇心和自主直觉是难以争辩的,而且是累积的,而我们更具破坏性的冲动往往不是。很容易argue that如果我们能够预防,儿童就不应该死于疾病,从那里很容易argue that每个人的孩子都同样应该享有这个权利。从那里不难argue that我们都应该团结起来,运用我们的智慧来实现这个结果。很少有人disagree that人们应该因无故攻击或伤害他人而受到惩罚,从那里到惩罚应该在人与人之间一致和系统化的想法并不是一个很大的飞跃。人们应该对自己的生活和选择拥有自主权和责任,这同样是直观的。如果将这些简单的直觉推到逻辑结论,最终会导致法治、民主和启蒙价值观。即使不是inevitably,至少作为一种统计趋势,这就是人类已经headed的方向。AI simply提供了一个机会,让我们更快地到达那里 - 使逻辑更加stark,目的地更加clear。
尽管如此,它是一件超凡脱俗的美丽事物。我们有机会在使它成为现实的过程中发挥一些小作用。
感谢Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe和Anthropic的许多人审阅了这篇文章的草稿。
致2024年诺贝尔化学奖获得者,感谢你们为我们指明了道路。
