展会信息港展会大全

OpenAI CEO深度访谈:1人+10000块GPU,能创收数十亿美元
来源:互联网   发布日期:2024-11-13 11:16:09   浏览:146次  

导读:智东西(公众号:zhidxcom)编译|依婷编辑|Panken智东西11月12日消息,近日,美国知名创业孵化器Y Combinator(YC)总裁兼CEO Garry Tan对OpenAI联合创始人兼CEO Sam Altman(萨姆阿尔特曼)进行了访谈。访谈从Sam Altman的博客文章《智能时代(The Intelligence Age)》切入,谈到了OpenAI初创团队的建立、Scaling Law对OpenAI的意义、早年在YC和Loopt的经历、OpenAI团队变 ......

智东西(公众号:zhidxcom)

编译|依婷

编辑|Panken

智东西11月12日消息,近日,美国知名创业孵化器Y Combinator(YC)总裁兼CEO Garry Tan对OpenAI联合创始人兼CEO Sam Altman(萨姆阿尔特曼)进行了访谈。访谈从Sam Altman的博客文章《智能时代(The Intelligence Age)》切入,谈到了OpenAI初创团队的建立、Scaling Law对OpenAI的意义、早年在YC和Loopt的经历、OpenAI团队变动,以及AGI的五级路径等话题。

访谈中,Altman提到,在可预见的未来,随着第五级AGIOrganizations的实现,或许一个人加一万个GPU就可以创建一家年营收达数十亿美元的公司。而对于即将到来的2025年,他最期待的是AGI以及自己的孩子。

今年9月下旬,Altman在《智能时代》一文中预测,AI的超级智能(ASI)将在几千天内到来,而深度学习有效(deep learning worked)将成为OpenAI迈入智能时代的必经之路。Altman说:“深度学习有效,并且可以预见的是,随着规模的扩大,深度学习会变得更好,而且我们为其投入了越来越多的资源。”

Altman在访谈中承认这是一个非常疯狂的陈述。但他可以看到一条路径OpenAI正在做的工作不断产生复利,让其过去三年取得进展的速度得以在接下来的三年、六年、九年甚至更长时间内持续下去。

OpenAI使用的Scaling Law(缩放定律)常被业内视作异端。Altman对此回应说:“我们的资源远远少于DeepMind和其他公司。我们只需要选择一个方向并真正集中精力。这就是我们的制胜法宝,也完全是正确的创业要点。Scaling是我一直感兴趣的东西。事实证明,对于深度学习模型,我认为这是一个极度被低估的财富和应该追求的方向。”

关于近一年来的巨大人事变动,Altman也没有避讳。他说:“任何公司都会以某种速度迎来团队变动,那些擅长从零到一的人,未必擅长从一到十或者从十到百。”而与此同时,虽然OpenAI距离实现AGI还有一段路程要走,但Altman说:“第一次感觉我们真的知道该做什么”。

作为近年来最受关注AI独角兽的联合创始人,Altman建议创业者押注AGI技术趋势,和谷歌等大公司、甚至创立几年的初创公司相比,“你的优势在于速度、专注、信念以及对技术发展速度做出反应的能力”。

以下是对Sam Altman本次采访的节选编译,关于Altman早年在YC和Loopt的经历有所省略:

一、现在是创办科技公司的最佳时机,OpenAI远没有达到极限

Garry Tan:让我们谈谈你关于智能时代的最新文章。你认为现在是创办科技公司的最佳时机吗?

Sam Altman:至少可以说,现在迄今为止最理想的时机;希望未来会有更好的节点。我认为,每次重大的技术革新都会极大地拓宽我们的能力边界,你能做的事会比你之前能做的更多。我期望这些创业公司能创造更非凡的成就、带来更深远的影响。

我认为这就是最佳时机当行业发展缓慢且缺乏活力时,大公司具有优势;当像移动技术、互联网或半导体等领域的变革兴起时,甚至是过去的工业革命时期,新贵们就有了他们的优势。我们已经很久没有遇到这样颠覆性的变革了。这就像文章里说的那样相当令人兴奋。

Garry Tan:实际上,你在文中说了一件非常重要的事情,那就是AI的超级智能(ASI)会在数千天后到来。(注:We will have super intelligence in a few thousand days.)

Sam Altman:我的意思是说,我们希望……但无论如何,这是一个非常疯狂的陈述。

我可以看到一条路径我们正在做的工作不断产生复利,让我们过去三年取得进展的速度得以在接下来的三年、六年、九年甚至更长时间内持续下去。你知道的,九年大概是3500天。如果我们能够保持这样的迭代速度甚至更快,那系统能做很多事情。我认为即使是像o1这样的系统,在特定领域内的限定任务上,也已经展现出了极高的基础认知能力。o1就是个非常聪明的存在,而我认为我们远远没有达到进步的极限。

我们可能会撞到一些意想不到的墙,也可能会错过一些东西,但在我们看来,未来还有很多复合增长会发生。

Garry Tan:这篇文章可能是我见过的几乎所有文章中对技术最为乐观的。里面写到很多我们可以期待的事情,比如说修复气候、建立太空殖民地、揭示所有物理学原理、实现近乎无限的智能以及获取丰富的能源。

Sam Altman:我确实认为所有这些事情可能还有更多我们无法想象的事情可能并不那么遥远。我们现在可以半认真地谈论这些问题,这本身就很让人振奋。

一直以来,我最喜欢YC的一件事是,它鼓励可能让人难以置信的技术乐观主义,以及一种坚定的信念,即你可以解决这些问题。这像是早期的“PG精神(YC联合创始人Paul Graham的创业理念)”,在一个不断告诉人们“这行不通、那行不通”的世界里,鼓励创始人大胆畅想。这是一件特别的事。

Garry Tan:丰富的能源似乎是一个宏大的议题。我们知道有A路径和B路径两种解决方案。如果我们真的能够实现能源充足,这似乎能够解锁几乎所有的工作,不仅仅是知识密集型工作。这可以通过机器人技术、自然语言处理以及无处不在的智能来实现。我们好像正步入一个真正的富足时代。

Sam Altman:无限的智能和丰富的能源,我认为这是我们想要达成一切的两个关键。还有很多其他重要的东西,但如果我们能真正拥有这两者,我们就能使我们想发生的事情发生。比如,我们能更快地想出更好的创意,然后让它们在物理世界中实现。更不用说运行大量的AI也需要能源。

我认为这将是一个巨大的突破。我不确定是否要对这一切同时发生感到惊讶,因为或许这只是技术进步速度不断加快的自然结果。但这肯定是一个非常令人兴奋的时刻,也是创业的好时机。

二、创建时的三个目标:无监督学习、强化学习、团队不超过120人

Garry Tan:你当时是如何确定OpenAI的初创团队成员的?

Sam Altman:Greg(OpenAI联合创始人、总裁Greg Brockman)是很早就决定加入我们的核心成员。回想起来感觉就像一部电影,像是所有银行抢劫电影的开头,当你开车去找人什么的时候。

就像Ilya(OpenAI前首席科学家Ilya Sutskever),我听说他真的很聪明。然后我在YouTube和其他网站上看了他的一些视频资料,我发现他极度聪明,像真正的天才,有着远见卓识。我当时想,我遇到了那个家伙!我给他发了电子邮件,他没有回复;我就去参加他演讲的某个会议,我们见面了。在那之后我们开始谈论了很多想法。

Garry Tan:谈话聊了些什么?比如我真的很喜欢你对AI的想法?或者说我想要建立一个实验室?

Sam Altman:是的。回想起来,其中一件非常有效的事情是,我们从一开始就说,我们将在实地工作中去追求AGI当时你不被允许这么说,因为这似乎是不可能的、是疯狂的,而且几乎是不负责任的这话引起了几乎所有优秀年轻人的关注,以及平庸年长者的嘲笑。

这是一个非常好的迹象,而且非常有力量。我们就像“愣头青”。我那时30岁了,可能是团队中最年长的,但也有和这些不负责任、什么都不想做的年轻人一样的地方。年轻人喜欢说这些荒谬的话。当时真正吸引的人,我想是那些会说“我是大二学生,让我们做这件事”的人。随后我们四处奔走,一个接一个地结识盟友。这个过程断断续续花了九个月左右的时间。

在OpenAI的创立过程中,我印象最深刻的是,因为Ilya与谷歌存在合作关系的问题,我们在2015年12月宣布OpenAI成立,直到2016年1月才正式落地。然后大概是2016年1月3日,大家结束假期,去到Greg的公寓,有10个人。我们坐在一起,感觉就像我们做了一件划时代的大事。每个人都说“那么我们现在该做什么?”这是一个多么有趣的时刻,它让我想起了初创公司创始人非常努力地筹集资金的时候他们会想,“哦,我做到了,我们做到了”,但其实真正的考验才刚刚开始。

Garry Tan:那不是开香槟的时候。实际上是发令枪,说明现在我们得跑了。

Sam Altman:你不知道比赛会有多难。我们花了很长时间才弄清楚我们要做什么。但整个初创团队,尤其是Ilya给我留下了非常深刻的印象。尽管这个过程充满了曲折和变化,但我们最初的那些想法是如此正确。

我们就在Greg的公寓里,用白板列出了我们的想法和计划;我们做了一些有用或无用功,最终才有了我们现在的这个系统。回顾过去,我们从那里走到这里,一路上走了很多弯路,但最终到达了我们当初想做的目标深度学习。

当时有三个努力的方向弄清楚如何进行无监督学习、解决RL(Reinforcement Learning,强化学习)问题,以及将团队人数控制在120人以内。第三个失败了,前两个预测方向非常好。

三、“多即是多”,专注Scaling Law是OpenAI制胜法宝

Garry Tan:第二个目标听起来像Scaling(缩放定律)。这在一些人看来是有些冒犯意味的异端观念。

Sam Altman:最开始我们的核心信念就是深度学习有效,且随着规模的扩大而变得更好。这在当时都是有点异端信仰的。我们无法确切预知随着规模的扩大它会有多好几年后才出现这种情况但直觉告诉我们这是可行的。

当时的人们存在固有成见,认为这些神经网络并未真正“学习”或“推理”,而只是在“玩把戏”。有一些领域内的领军人物也这样说。他们认为这是错的,可能导致AI再次陷入寒冬。然而,我们目睹了模型性能的不断提升,甚至比我们得到的Scaling结果更好,这有些打破我的直觉。我们当时就决定要继续推进这一方向。

我们的资源远远少于DeepMind和其他公司。我们只需要选择一个方向并真正集中精力。这就是我们的制胜法宝,也完全是正确的创业要点。Scaling是我一直感兴趣的东西。事实证明,对于深度学习模型,我认为这是一个极度被低估的财富和应该追求的方向。我认为,当你有疑问时,如果你有一些看起来随着规模的扩大而变得更好的东西,你应该扩大规模。

Garry Tan:可能很多人会期待“少即是多”,但实际上对于OpenAI来说“多即是多”。

Sam Altman:我认为关于OpenAI有一件事可能没有得到很好的理解,那就是即使我们还很陌生,但我们有一支疯狂而才华横溢的研究团队。如果你有世界上最聪明的人,你可以推动一些非常困难的事情。

Garry Tan:我听到过一个故事,关于计算资源的访问权限。当时业内的一些老前辈会批评你们说,你会浪费大量资源,会导致AI寒冬。

Sam Altman:有趣的是,人们不确定我们是否浪费了资源,也不确定我们是否投入太多资源做了一些触及道德边界的事情。他们认为你应该分散赌注而不是笃定一个方向。世界上大多数人都不理解对一次赌注抱有相当极端的信念的价值。于是我们说,好吧,我们有了这些证据,我们相信这件事在当时,通常的做法是会分散投资到多个赌注上,而我们选择坚定地押注于这个单一目标,因为我们是明确的乐观主义者。

有一段很长的时间,你必须甘愿在没有数据的情况下进行操作。在那一点上,你确实必须以信念为基础。

Garry Tan:这也涉及到聚焦的问题。就像你必须做出选择,而这个选择更好。你没有无限的选择机会。所以,优先排序本身就是一项练习,它使你更有可能成功。

Sam Altman:我希望我可以告诉你,“哦,我们确切地知道会发生什么”。但显然,故事的开篇是我们做了很多事情来帮助我们积累一些学科理解。我们并没有走在捷径上。如果我们当时知道我们现在所知道的,我们可以让整个事情达到令人难以置信的程度。事实并非如此,你不可能每个猜测都是对的。

我们一开始做了很多假设,既有关于技术方向的假设,也有关于我们将成为什么样的公司、我们将如何构建AGI等方面的假设。我们总是一次又一次地失败。但我们的优势之一是在被打倒后能够站起来继续前进。

至少我不知道语言模型会成为主流。我们开始研究机器人和Agent、视频游戏等等。几年后,GPT-3出现了,这在当时并没有太多迹象。

四、第一次真的知道该做什么,路径越来越清晰

Garry Tan:你从去年下台中学到了什么?对一些人的离开有什么感觉?团队在进化,你又做得如何?

Sam Altman:累,但是很好。我们的进展很快,仿佛在极短的时间内跨越了中型乃至大型科技公司通常需要十年才能达成的成长阶段。ChatGPT还不到两年,这一路上,我们历经诸多磨难。任何公司都会以某种速度迎来团队变动,那些擅长从零到一的人,未必擅长从一到十或者从十到百。

在这个过程中,我们犯了很多错误,但也做了一些非常正确的事情。我认为公司的目标不论是构建AGI还是其他任何东西,都要在每个阶段尽可能地做出最好的决策。这将带来很多变化。我希望我们现在正走向一个更加平稳的时期,但我深知未来还会有其他动荡。

Garry Tan:现在OpenAI是如何运作的?

Sam Altman:这是我第一次感觉我们真的知道该做什么。实现AGI还需要大量的工作,存在一些已知或未知的因素,但我们基本上知道该做什么。这需要花时间,也很困难,但非常令人兴奋。

我认为在产品方面还有更多需要解决的问题。但大体上我们知道要目标是什么以及要优化什么,这是一个非常激动人心的时刻。当你拥有这样清晰的认知时,我认为你可以走得相当快。我们的研究路径、基础设施路径已经很清晰,产品路径也越来越清晰。我们曾经是一个真正的研究实验室,很长一段时间都没有这样的认知。即便你知晓了这些方向,实际操作中也很难下定决心,因为总有太多你渴望尝试的事情。但你能让每个人都目标一致并携手共进的程度,是公司发展速度的重要决定因素。

五、AGI严重过载,一个人加一万个GPU创造十亿美元年营收

Garry Tan:在刚结束的o1黑客马拉松上,获胜者之一Camphor构建了能够不断迭代优化翼型的系统,这听起来有点像AGI第四级,也就是创新者阶段。

Sam Altman:这很有趣。我以前认为,从二级跃升到三级很快就会发生,但三级到四级的跳跃会更加困难,需要一些中型或更大模型的想法。但他们和一些其他的演示让我相信,只要以非常有创意的方式使用现有模型,就可以获得大量的创新。

Garry Tan:你想简单谈谈第三级、第四级和第五级吗?

Sam Altman:我们意识到AGI已经变成了一个严重过载的词,人们对它的理解各不相同。我们试图简单地列出一个框架,这大概是我们对事物发展顺序的最佳推测。你有一级系统,也就是聊天机器人,就会有二级系统,也就是推理者。我们认为今年早些时候发布的o1已经达到了第二级。

第三级是指的AI Agent,它拥有能够完成长期任务的能力,比如与环境多次互动,并与人类协同工作。我认为我们会比人们预期的更快到达第三级。至于第四级创新者,它就像科学家一样,能够探索长期以来不太被知晓的现象并理解其本质。然后是第五级,这还没有成型的定义,但它将为整个公司的规模、组织架构或其它任何方面带来巨变。

Garry Tan:第五级AGI听起来像是一个组织(Organizations)。比如说,会有一些公司每年赚取数十亿美元,但员工不到100人,可能是50人,可能是20人,可能是1人。

Sam Altman:我不知道怎么样去说,但我确实感觉到了这个趋势。现在是创业公司创始人的好时机。这就像一个人加一万个GPU,然后它就发生了。

六、新技术平台被夸赞很容易,但不要为此沉沦

Garry Tan:对于即将开始或刚刚开始创业的人,你有什么建议?

Sam Altman:押注这种技术趋势。我们还没有接近饱和点。这些AI模型很快会变得更好。作为创业公司创始人,你能做什么,以及没有它你又能做什么,截然不同。而大公司,即使是中等规模的公司,甚至是成立几年的初创企业,它们已经不再进入季度规划周期,而谷歌经处于十年规划阶段。

但是你的优势在于速度、专注、信念以及对技术发展速度做出反应的能力。这是初创公司有史以来的首要优势,尤其是现在。所以我建议你们用AI构建一些东西,利用看到新事物并构建一些东西的能力,而不是将其放入季度计划中。

我要说的另一件事是,一个新技术平台被夸赞是很容易的事。有一些创业者可能认为:“我正在做一些商业法则不适用于我的AI。我有这种神奇的技术,所以我不必建造护城河或竞争优势或更好的产品。”这显然不是真的。

通过比别人更快地拥抱新技术,你可以在短期内得到爆炸性的成长,但记住不要为此沉沦,你仍然需要建立一些具有持久价值的东西。我认为这也是一件值得铭记在心的事。

Garry Tan:现在每个人都可以制作一个令人难以置信的演示,但是建立一家企业仍然艰难。

Sam Altman:规则同样适用。你可以比以往更快、更好地做到这一点。但你仍然需要建立良好的业务。

Garry Tan:对2025年有什么期待?

Sam Altman:肯定是AGI。但还有另一件更让我兴奋的事,那就是我的孩子。

来源:Y Combinator

赞助本站

相关内容
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港