图片来源：OpenAI使用 ChatGPT 和其他人工智能产品的人数正在激增。然而，支撑它们的基本构建块的改进速度似乎正在放缓。
这一情况促使了 OpenAI（ChatGPT 的开发者）想出新的技术来增强这些被称为大型语言模型的基础构件，以弥补放缓。
要点
OpenAI 下一个旗舰模型的质量提升低于最后两个旗舰模型之间的质量跃升
该行业正在将其努力转向在初始训练后改进模型
OpenAI 成立了一个基础团队，以解决训练数据匮乏的问题
OpenAI 在其即将推出的旗舰模型 Orion 面临的挑战显示了该公司所面临的困难。
5 月，OpenAI 首席执行官山姆奥特曼告诉员工，他预计 Orion 这款初创公司的研究人员正在训练的模型将比一年前发布的最后一款旗舰模型显著更好。
尽管 OpenAI 仅完成了 Orion 训练过程的 20%，但根据一位听到该评论的人所说，它在智能和完成任务及回答问题的能力方面已经与 GPT-4 不相上下。
尽管 Orion 的性能最终超过了之前的模型，但与公司发布的最后两个旗舰模型 GPT-3 和 GPT-4 之间的飞跃相比，质量的提升要小得多，一些使用或测试过 Orion 的 OpenAI 员工表示。
根据员工的说法，公司的某些研究人员认为，Orion 在处理某些任务时并不比其前身更可靠。根据一位 OpenAI 员工的说法，Orion 在语言任务上表现更好，但在编码等任务上可能不如之前的模型。这可能是个问题，因为与 OpenAI 最近发布的其他模型相比，Orion 在其数据中心的运行成本可能更高，这位人士表示。
Orion 的情况可能会检验人工智能领域的一个核心假设，即规模法则：只要有更多的数据可供学习和额外的计算能力来促进训练过程，LLMs 就会继续以相同的速度改善。
针对最近由于 GPT 改进放缓而对基于训练的扩展法则提出的挑战，行业似乎正在将其努力转向在初始训练后改进模型，这可能会产生不同类型的扩展法则。
一些首席执行官，包括 Meta Platforms 的马克扎克伯格，表示在最坏的情况下，即使当前技术没有改善，仍然有很多空间可以在此基础上构建消费和企业产品。
在 OpenAI，例如，该公司正在忙于将更多的代码编写能力融入其模型，以应对来自竞争对手 Anthropic 的重大威胁。它还在开发一种可以接管个人计算机以完成涉及网页浏览器活动或应用程序的白领任务的软件，通过执行点击、光标移动、文本输入和其他人类在使用不同应用程序时执行的操作。
这些产品是朝着处理多步骤任务的人工智能代理的运动的一部分，可能会像 ChatGPT 的首次发布一样具有革命性。
此外，扎克伯格、奥特曼和其他人工智能开发公司的首席执行官们也公开表示，他们尚未达到传统Scaling Law的极限。
这可能就是为什么包括 OpenAI 在内的公司仍在开发昂贵的数十亿美元的数据中心，以尽可能从预训练模型中获得更多性能提升。
然而，OpenAI 研究员诺姆布朗上个月在 TEDAI 会议上表示，更先进的模型可能在财务上变得不可行。
“毕竟，我们真的要训练成本高达数千亿或数万亿美元的模型吗？”布朗说。“在某个时刻，Scaling Law 就会崩溃。”
OpenAI 尚未完成对 Orion 的安全性进行测试的漫长过程，预计将在明年初发布 Orion。员工表示，当 OpenAI 发布 Orion 时，它可能会偏离传统的旗舰模型“GPT”命名惯例，进一步强调LLM改进的变化性质。（OpenAI 发言人未对此作出公开评论。）
撞上数据壁垒
OpenAI 的员工和研究人员表示,GPT 减速的一个原因是高质量文本和其他数据的供应减少，这些数据是 LLMs 在预训练期间可以处理的，以理解世界和不同概念之间的关系，从而解决诸如撰写博客文章或解决编码错误等问题。
在过去的几年中，LLMs 使用公开可用的文本和来自网站、书籍及其他来源的数据进行预训练过程，但这些人表示，模型的开发者在很大程度上已经从这种类型的数据中榨取了尽可能多的内容。
作为回应，OpenAI 创建了一个基础团队，由之前负责预训练的 Nick Ryder 领导，旨在找出如何应对训练数据的匮乏以及扩展法则将持续适用多久，他们表示。
根据一位 OpenAI 员工的说法，Orion 部分是基于其他 OpenAI 模型生成的 AI 数据进行训练的，包括 GPT-4 和最近发布的推理模型。然而，这种被称为合成数据的东西，正在导致一个新问题，即 Orion 在某些方面可能会与那些旧模型相似，这位员工表示。
“我们以相同的速度增加[用于训练人工智能的 GPU 数量]，但我们根本没有获得智能上的提升，”风险投资家本霍洛维茨说。
OpenAI 研究人员正在利用其他工具来改善 LLMs 在后训练过程中的表现，提升它们处理特定任务的能力。研究人员通过让模型从大量已正确解决的问题（例如数学或编程问题）中学习，来实现这一点，这一过程被称为强化学习。
他们还要求人类评估者在特定的编码或问题解决任务上测试预训练模型并对答案进行评分，这帮助研究人员调整模型，以改善它们对某些类型请求的回答，例如写作或编码。这个过程被称为带有人类反馈的强化学习，也帮助了较早的人工智能模型。
为了处理这些评估，OpenAI 和其他人工智能开发者通常依赖于像 Scale AI 和 Turing 这样的初创公司来管理数千名承包商。
在 OpenAI 的案例中，研究人员还开发了一种推理模型，名为 o1，它在给出答案之前需要更多时间“思考”LLM训练的数据，这个概念被称为测试时计算。
这意味着，当模型在回答用户问题时提供额外的计算资源时，o1 的响应质量可以继续提高，即使不对基础模型进行更改。而且，如果 OpenAI 能够继续改善基础模型的质量，即使速度较慢，也会导致更好的推理结果，一位了解该过程的人士表示。
“这为扩展打开了一个全新的维度，”布朗在 TEDAI 会议上说。研究人员可以通过“将每个查询的花费从一分钱提高到十分钱”来改善模型的响应，他说。
奥特曼也强调了 OpenAI 推理模型的重要性，这些模型可以与LLMs结合。
“我希望推理能够解我们等待多年的许多事情像这样的模型能够，例如，贡献新的科学，帮助编写更多非常复杂的代码，”奥特曼在十月的一个应用程序开发者活动中说道。
在最近与 Y Combinator 首席执行官 Garry Tan 的采访中，Altman 表示：“我们基本上知道该做什么”以实现人工通用智能与人类能力相当的技术其中一部分涉及“以创造性的方式使用当前模型。”
数学家和其他科学家表示，o1 对他们的工作有益，充当了一个可以提供反馈或想法的伙伴。但该模型的价格目前是非推理模型的六倍，因此它没有广泛的客户基础，两名了解情况的员工表示。
突破渐近线
一些向人工智能开发者投入数千万美元的投资者开始怀疑，LLMs 的改进速度是否开始趋于平稳。
本霍洛维茨，他的风险投资公司既是 OpenAI 的股东，也是 Mistral 和 Safe Superintelligence 等竞争对手的直接投资者，在一段 YouTube 视频中表示：“我们以相同的速度增加[用于训练 AI 的图形处理单元的数量]，但我们根本没有获得智能上的提升。”（他没有详细说明。）
霍洛维茨的同事马克安德森在同一视频中表示，有“很多聪明的人在努力突破渐近线，弄清楚如何达到更高的推理能力。”
Ion Stoica 说，企业软件公司 Databricks 的联合创始人兼主席，以及一个允许应用程序开发者评估不同 LLMs 的网站的共同开发者，表示 LLMs 的性能在某些方面可能已经达到了瓶颈，但在其他方面则没有。
斯托伊卡说，尽管人工智能在编码和解决复杂的多步骤问题等任务上持续改进，但在人工智能模型执行一般性任务的能力上，如分析一段文本的情感或描述医疗问题的症状，进展似乎已经放缓。
“对于一般知识问题，你可以说目前我们看到LLMs的表现处于一个平台期。我们需要[更多]事实数据，而合成数据并没有太大帮助，”他说。本文翻译自：The Information,https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows?rc=pbvtni编译：ChatGPT
