划重点
01OpenAI资深研究者Miles Brundage因个人原因离职，撰写博客分享离职原因和对AI的看法。
02Brundage表示，他希望在行业外部影响和推动AI的发展，减少偏见和发表限制。
03他计划创办非营利机构或加入现有非营利组织，专注于人工智能政策研究和倡导。
04Brundage对AI的优点和缺点都有深刻认识，认为政策制定者需要迅速采取行动。
05此外，他还对AI的经济影响、有益AI应用的加速推进等方面表达了看法。
以上内容由腾讯混元大模型生成，仅供参考
OpenAI 的离职潮仍未止息。
这一次离开的是 Miles Brundage，他是 OpenAI 一位资深研究者和管理者，于 2018 年加入 OpenAI，离职前担任 AGI Readiness 团队的高级顾问，之前还曾领导过 Policy Research 团队。更早之前，他曾在牛津大学人类未来研究所从事研究工作。
这次离开 OpenAI，他写了一篇超过 5000 词的博客，回顾了他在 OpenAI 的工作历程，并分享了自己离职的原因、对 AI 的看法以及未来计划，其中还涉及到 OpenAI 工作方式和企业文化方面的一些隐秘。
消息发布后，许多 AI 领域的人士都留言表示祝福，包括仍然还在 OpenAI 的著名研究者 Noam Brown、a16z 合伙人和 Fellow AI 创始人 Marco Mascorro、谷歌 AI Studio 产品负责人 Logan Kilpatrick 以及大量 AI 领域的研究者和创业者。
剑桥大学 AI 治理与政策研究者 Haydn Belfield 甚至认为 Miles Brundage 离开 OpenAI 就相当于一个时代的终结。
下面我们来看看 Miles Brundage 的「长篇离职公开信」里面究竟写了些什么。
离职公开信概览
2015 年 12 月，OpenAI 作为一个组织宣布成立；自那以来，我都一直为它感到兴奋。OpenAI 宣布成立之后，我彻夜不眠，写下了我对其重要性的看法。甚至在那之前，大约 12 年前，我就决定将自己的一生奉献给与 OpenAI 的大致使命（确保 AGI 造福全人类）相关的领域。
所以这几乎就是我梦想中的工作（为 OpenAI 高管和董事会提供 AGI 达成进度方面的建议），所以离开它并不是一个容易的决定，而且我确信有些人对此有很多疑问。下面我将回答一些问题，希望借此引导人们更准确地讨论我的离开及各种相关话题。
太长不读版：
我想把更多时间投入到涉及整个 AI 行业的问题上，拥有更多发表的自由，更加独立；
我将创立一家和 / 或加入一家已有的非营利机构，并且将把关注重心放在 AI 政策研究和倡导上，因为我认为，如果我们不齐心协力，AI 不太可能尽可能地安全和有益；
我感兴趣的一些研究领域包括评估和预测 AI 进展、前沿 AI 安全的监管问题、AI 的经济影响、有益 AI 应用的加速推进、计算治理；
我认为，对于许多研究和工作而言，OpenAI 依然是一个激动人心的地方，我很高兴看到团队继续加大对安全文化和过程的投资。
我是谁？我在 OpenAI 做什么？
在本周五结束之前，我都是 OpenAI 的一位研究员和管理者。我在这里 6 年多了，按照 OpenAI 的标准来说是很长一段时间了（过去 6 年来它真的成长了很多！）。一开始，我是政策团队的一位研究科学家，之后变成了政策研究团队负责人，现在则是 AGI Readiness（AGI 达成进度）团队的高级顾问。在此之前，我在学术界 先从亚利桑那州立大学获得了科学与技术的人文与社会维度博士学位，然后在牛津大学担任博士后，并在美国能源部政府部门工作过一段时间。
在我看来，我领导过的团队（政策研究和 AGI 达成进度）做了很多非常重要的工作，这些工作塑造了 OpenAI 的部署实践，例如启动我们的外部红队项目并推动前几张 OpenAI 系统卡，并发表了许多有影响力的著作，主题包括语言模型和 AI 智能体的社会影响、前沿人工智能监管、计算治理等。
我非常感谢我在 OpenAI 的时光，也非常感谢我的管理者们多年来的信任，让我承担越来越多的责任，感谢我有幸管理的数十名员工，我从他们身上学到了很多东西，感谢我在各个团队中共事的无数才华横溢的同事，他们使在 OpenAI 工作成为一次如此迷人和有益的经历。
我为什么离开？
我决定从行业外部而不是行业内部来影响和推动 AI 的发展。这是我基于以下考虑得出的结论：
机会成本已经变得非常高：我没有时间研究我认为重要的各种研究课题，在某些情况下，我认为如果我在行业之外研究它们，所得成果的影响力会更大。OpenAI 现在如此引人注目，人们会从许多不同的角度审视其成果，因此我很难发表所有文章，但一些主题在我看来很重要。需要明确的是，虽然我不会说我一直同意 OpenAI 对发表审查的立场，但我确实认为行业中存在一些发表限制是合理的（我曾帮助编写过几个版本的 OpenAI 政策），但对我来说，限制已然太多。
我想减少偏见：当你是某个组织机构的一部分并每天与那里的人密切合作时，就很难对该组织保持公正客观的立场，而且考虑到经济利益冲突，人们有权质疑来自行业的政策想法。我已经尝试过在分析中做到尽可能公正，但我确信其中存在一些偏见，而且在 OpenAI 工作肯定会影响人们对我的言论以及业内其他人的言论的看法。我认为在政策对话中拥有比现在更多的行业独立声音至关重要，我计划成为其中之一。
我在 OpenAI 已经完成了我之前计划要做的大部分工作：自从开始担任 AGI 达成进度高级顾问以来，我开始更明确地思考两种 AGI 达成进度 OpenAI 是否准备好管理日益强大的 AI 能力，以及世界是否准备好有效管理这些能力（包括通过监管 OpenAI 和其他公司）。关于前者，我已经告诉高管和董事会（我的建议的受众）我认为 OpenAI 需要什么以及还有什么差距，而对于后者，我认为我可以在外部更有效地完成它。
上面哪一点最重要？这很难说。它们以各种方式互相关联，但每一个都在我的决定中发挥了一定作用。
OpenAI 和世界在迎接 AGI 方面准备得如何了？
简而言之，OpenAI 和任何其它前沿实验室都没有准备好，世界也没有准备好。
确切地讲，我认为这个说法在 OpenAI 领导层中没有争议。需要说明，这不同于这个问题：该公司和世界是否将在某个时间做好准备？（但我认为仍待填补的差距还非常大，足以让我将余生都投入 AI 政策事业中）。
该公司和世界是否在向着做好准备前进？这个问题很复杂，涉及到安全文化随时间的变化（最近董事会的新增成员是朝着正确方向迈出的一步）、监管对组织激励的影响、有关 AI 能力和安全难度的各种事实的影响，以及其他各种因素。
顺带一提，我认为 AGI 是一个含义过多的短语，它暗示了一种超乎实际的二元化思维方式。我的团队最近一直在研究的课题之一是充实「AI 分级」框架。我希望 OpenAI 和我能够很快发表一篇相关论文。但现在我只想指出，当我说「为 AGI 做好准备」时，我的意思是：「准备好安全、可靠且有益地开发、部署和管理日益强大的 AI 系统」。
人们应该在 OpenAI 工作吗？
在 OpenAI 工作是大多数人希望做的最有影响力的事情之一，所以在很多情况下，这个问题的答案是肯定的。当然，人们拥有不同的技能和机会，很难做出笼统的陈述，但我认为 OpenAI 的每一个角色及其工作的慎重性都很重要，对 OpenAI 企业文化的贡献也很重要。在通往更强大的人工智能的道路上，每一个产品的部署都通过影响规范、人工智能的感知和监管方式等而发挥重要作用。我很遗憾失去了一些我在这里拥有影响力的机会，尽管我希望更大程度地影响更大的生态系统。
我认为，在 OpenAI 致力于安全方面的工作尤其具有影响力。
在 OpenAI 工作的任何人都应该认真对待一个事实：他们的行为和言论有助于企业文化，并且当 OpenAI 开始管理极其先进的能力时，可能会产生积极或消极的路径依赖。文化对任何机构都很重要，在前沿人工智能的背景下尤其重要，因为大部分决策不是由法规决定，而是由公司员工决定。
正如我上面提到的以及我的决定所表明的那样，我认为某些政策研究最好在外部进行。我认为政策研究可能比安全和保障工作更常见，OpenAI 内部确实需要一些人推动良好的政策立常
AGI Readiness 团队发生了什么？
经济研究团队直到最近还是由 Pamela Mishkin 领导的 AGI Readiness 子团队，但现在将由 OpenAI 新任首席经济学家 Ronnie Chatterji 领导。AGI Readiness 团队的其余成员将分布在其他团队中。
接下来我要做什么？
我计划创办一个新的非营利组织或加入现有的非营利组织，并将从事人工智能政策研究和宣传工作。我可能会做一些研究和宣传的结合，但细节待定，这将取决于未来几个月我与潜在联合创始人和合作者的对话。
我对人工智能政策有何看法？
AI 的经济影响
我认为，在未来几年（而不是几十年），人工智能很可能会带来足够的经济增长，从而使人们可以轻松地提前退休，过上高标准的生活（假设有适当的政策来确保公平分配这些财富）。在此之前，可能会有一段时期，可以远程完成的任务更容易实现自动化。在短期内，我非常担心人工智能会扰乱那些迫切想要工作的人的机会，但我同时认为，人类最终应该消除为生活而工作的义务，而这样做也是构建 AI 和 AGI 的最有力论据之一。从长远来看，有些人可能会继续工作，但这样做的动力可能会比以前更弱（这是否正确取决于各种文化和政策因素）。就这件事而言，我们在政治、文化或其他方面都还没有做好准备，这需要成为政策对话的一部分。简单地转向「后工作世界」有可能导致文明停滞（参见《机器人总动员》），我们需要对此进行更多的思考和讨论。
我们还需要对人工智能的税收政策影响进行创新分析。例如，有人建议征收「机器人税」，但这究竟会产生什么影响？它与计算税或 AI 增值税等相比有何不同？我们是否不应该做任何专门针对 AI 的事情，而只需要意识到 AI 会让其他类型的税收变得更加紧迫（例如，如果资本和劳动力的回报出现巨大差异）？
加速有益的 AI 应用
虽然 AI 会带来一些好处，而且这些好处正在「自动」出现（通过许多人的辛勤工作），不需要太多的政府参与或支持，但我认为这种情况还没有达到足够的程度。对于从事工业工作的人来说，我们离理想有多远是显而易见的，而受限的 AI 素养和有限的资源又在多大程度上阻碍了 AI 收益的全面普及。
我认为，即使对（几乎）只专注于降低 AI 风险的人来说，认真考虑 AI 的有益应用也是有意义的，因为它们可能会改变不同竞争方对共同利益的看法，从而影响他们是否倾向于采取捷径的可能性。而且有益的应用也可能在降低风险方面提供更大的容错空间（例如，通过使社会对更高级别的人工智能部署或滥用具有更强的适应能力）。
此外，在默认情况下，免费和付费 AI 功能之间的差距很可能会越来越大。曾经有一段短暂的时期，这两者之间是完全等同的（除了次数限制），比如有段时间 4o 是最好的付费模型，用户也可以免费使用。但那个时代已经过去，很快就会成为遥远的记忆，因为各家公司都在争相为愿意支付更多费用的用户提供 test-time 计算服务。我并不是说不应该存在这样的差异，而是我们应该深思熟虑，找到合适的平衡点，以及我们是否可能在不知不觉中走向一个知识拥有者和非拥有者的世界。
在我看来，「AI for good」的初衷是好的，但目前却效率低下，这主要是由于民间社会和政府缺乏足够的专业技术知识，以及良好的规范和理论基矗例如，如果能对以下问题进行更多分析就好了：哪些问题应该 / 不应该期望市场提供解决方案；对于特定问题，是应该构建定制的专用 AI 解决方案，还是应该提高通用 AI 系统处理这些问题的能力；何时应该补贴现有技术，何时应该创造全新的技术等。
当然，也有一些令人兴奋的新想法和新框架被提出来，但我们也希望看到围绕这些更大的问题进行更多的辩论（除了为促进特定有益应用而采取的一次性举措之外），我们也希望看到「AI for good」社区、更注重理论的群体（他们正在思考风险敏感型创新、「d/acc」和社会对人工智能影响的适应力等想法）以及致力于缩小数字鸿沟的群体之间进行更多的相互交流。
计算治理
与软件、数据和人才相比，计算硬件具有独特的属性，使其成为人工智能政策的一个重要焦点：「它是可检测、可排除、可量化的，而且是通过极其集中的供应链生产出来的」。
学术文献对计算治理进行了认真的分析，但一般都远远落后于产业界的发展。例如，对于那些前沿人工智能公司来说，近年来有一个越来越明显的趋势，即扩大推理（而不仅仅是训练）规模可以实现更高的性能，但对其政策影响的公开分析直到最近才真正开始。更广泛地分配计算能力（以及人工智能的相关优势）的想法，例如通过政府为学术界提供更多的计算能力，通常都太少太迟，而且忽视了不断发展变化的世界中的特定问题。
我将如何保持独立性？
我希望这项工作在研究和建议方面是（并且被视为）独立的，我也希望自己是这样被看待的，尽管在实践中这样做并不容易，同时保持接近人工智能的 SOTA 水平。我将继续建设性地与对人工智能有不同看法的部门接触，包括工业、学术界、民间社会和政府的人。
OpenAI 表示愿意为这项新工作提供资金、API 额度和早期模型访问权，并向我保证不会对这项支持进行出版前审查，我对此表示感谢。不过，考虑到接受这些提议可能会损害独立性的现实和 / 或感知，我还没有做出任何最终决定。我将与我的同事共同做出决定。
原文链接：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
