展会信息港展会大全

这段涉及百度的AI秘史,说明AI注定是一场中美的“新军备竞赛”
来源:互联网   发布日期:2021-03-19 14:54:11   浏览:9360次  

导读:2013 年 3 月,Google 花费 4400 万美元收购了多伦多大学的一家初创公司 DNNResearch。 这家公司在当时不仅没有任何产品,也压根没有生产产品的计划。它只有三位员工:当时已经六十余岁的多伦多大学计算机系教授 Geoffrey Hinton,和他的两个学生 Alex Krizh...

2013 年 3 月,Google 花费 4400 万美元收购了多伦多大学的一家初创公司 DNNResearch。

这家公司在当时不仅没有任何产品,也压根没有生产产品的计划。它只有三位员工:当时已经六十余岁的多伦多大学计算机系教授 Geoffrey Hinton,和他的两个学生 Alex Krizhevsky 和 IIya Sutskever。有人调侃,Google 花费数千万美元,只是买到了几篇论文。

但之后科技行业的发展证明了 Google 的眼光。深度学习从边缘学科一跃成为显学,而这一学派的开山祖师正是 Geoffrey Hinton。因为在深度学习上的突出贡献,他在 2018 年获得了图灵奖。Hinton成了AI领域举足轻重的人物,中国互联网也习惯于为他“封神”,称呼他为“AI教父”、“深度学习之父”等。而Google因为有了Hinton,成为AI技术最出色的公司之一。

但这场收购的细节鲜少被外界了解。事实上,Google 并不是最初“发现”Hinton的公司,最早意识到Hinton和他在深度学习上的研究价值的,其实是一家中国公司百度。

在3月16日发布的一本新书《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》(天才制造者:那些将 AI 带到 Google、Facebook 和全世界的特立独行者,下称《天才制造者》)中,《连线》杂志资深撰稿人 Cade Metz 揭开了这一段鲜为人知的“秘史”。这本书记录了Google、Facebook和百度等公司在AI上的你争我夺,并试图解释为何AI注定会变成一个中美之间的新军备竞赛。而全书的开篇,就从这场被形容为“今天所有AI领域故事的开端”的竞拍开始。

百度与Hinton曾接近达成协议

Cade Metz通过大量采访,还原了2012 年Hinton主导的一场拍卖。当年12 月,在美国内华达州边界的太浩湖旁,举办了每年一届的 NIPS。NIPS 全称 Neural Information Processing Systems(神经信息处理系统),是 AI 领域的顶级会议。

2012 年那一届 NIPS,对多伦多大学教授 Hinton 和他两个学生来说,意义尤为不同。他们在会议酒店的房间里,举办了一次线上拍卖会。美国科技巨头 Google 和微软,中国科技巨头百度以及英国的 AI 初创公司 DeepMind,用竞拍的方式争夺 Hinton 刚刚成立的、没有任何产品的小公司 DNNResearch。

(Geoffrey Hinton 和他的学生 Alex Krizhevsky 及 IIya Sutskever)

这些公司中,百度其实是最早接触 Hinton 的公司。

2012 年秋天,Hinton 和学生们发表了一篇长达 9 页的论文《ImageNet Classification with Deep Convolutional Neural Networks》。这篇论文提到的 Alexnet 引入了全新的深层结构和 dropout 方法,在 ImageNet 图像识别大赛中,将错误率从 25% 以上提升到了 15%,获得了第一名。

那一年的 ImageNet 比赛,Google 也在数据集上做了内部测试,也用了深度学习方法,但识别精度比 Hinton 团队差了很多。Google 拥有大多数团队无法企及的硬件和数据资源,但却输给了一个学界的团队。这让工业界感到吃惊,大大促进了深度学习的传播。

这个事情在今天来看,也是一个AI技术发展的历史性转折时刻。但当时还只有很少人意识到它的意义。而就在论文发出没几天,Hinton 收到了一封来自一名中国AI研究者的电子邮件。

这封邮件的署名为余凯。余凯2015年离开百度创办了AI芯片公司地平线,现为地平线CEO。

余凯比 Hinton 小 30 岁,两人最早在加拿大一个学术研讨会上认识。2012 年 4 月,余凯离开美国 NEC 研究院,回到中国加入百度,领导新成立的百度多媒体部。这一年,百度开始大规模采购和建立 GPU 运算集群,开发了世界上第一个支持 GPU&CPU 的并行深度学习平台。

同年 9 月,百度当时的首席科学家威廉张离职,这家搜索巨头开始寻找更能面向未来研究的首席科学家。10 月,余凯向李彦宏介绍深度学习方面的进展,并且推荐了 Hinton。

(余凯)

当时 Hinton 远没有今天知名,但百度决策很快,李彦宏安排当时负责百度战略投资的副总裁汤和松与 Hinton 取得联系,并直接提出邀约。百度提出的方案是,出价 1200 万美元聘请 Hinton 及其学生,合约期三年。双方进展很快。

但在眼看要达成协议前,Hinton 的那两名学生“拦住”了 Hinton,在他们的建议下,Hinton意识到,与招聘“三个新员工”相比,百度和其他公司显然更可能为收购一家公司付出更可观的资金。

Hinton 问百度,自己可否评估一下其他邀约。而原本已经接近谈成的百度,同意了。

“当百度同意后,Hinton彻底颠覆了局面。”《天才制造者》的书中写到。Hinton 立刻创建了只有他和那两名学生的初创公司DNNresearch。

据《天才制造者》的记录,Hinton 当时特意询问了一位多伦多的律师,如何能让一家只有三名员工、没有产品、几乎没有历史的初创公司的价值最大化。律师给了他两个选择:聘请专业谈判代表,但会有激怒买家的风险。或者,进行一次拍卖。

Hinton 选择了后者,于是,共有四家公司加入了竞拍:最先找到Hinton且本已接近拿下的百度,以及在百度之后也开始给Hinton家频繁打电话的Google和微软,以及一家当时刚刚成立两年的伦敦初创公司 DeepMind。这家公司后来被 Google 所收购,研发出大名鼎鼎的 AlphaGo。

做为最早接触Hinton,以及百度在那次投标中的代表人,余凯看到事情变成百度和多家美国公司的竞争后,已经预感到了最终结局。

出价最高的百度没有赢得竞拍

Hinton 和学生们在酒店房间里“举办”了拍卖会它通过 Gmail 进行,四家公司的高管远程出价,从加利福尼到伦敦再到北京。Hinton将每个竞拍者的身份隐藏了起来,他们相互不知道对方是谁。

微软首先对这种竞拍方式提出疑问,他们不喜欢用 Gmail 来竞拍,认为 Google 可能会偷偷读取邮件。Hinton 和学生们商量过后,依然采用这种方式,他们“相当确信 Google 不会读取 Gmail”。

Hinton 对Google的好感已经很明显。

Google 对深度学习的兴趣,很大程度也受到Hinton的影响。2006 年Hinton 发表了论文《A fast learning algorithm for deep belief nets》(深度信念网络的一种快速学习算法)。这篇论文发表之前,没有人知道怎么训练深度神经网络,因此这个领域鲜有人问津。该论文提出了一种训练深度网络的方法,对每一层网络先进行预训练,然后再微调,网络的学习速度大幅提高。

这篇论文成为开启深度学习热潮的一个因素,Google等公司开始注意到深度学习。另一个重要的因素是算力。2009 年,计算机的算力发展到足以挖掘庞大的数据库,神经网络在语言和图像识别方面,开始胜过基于逻辑的传统计算机。

Google也在那时开始投资AI。2010 年,当时还是斯坦福大学教授的吴恩达与 Google 里颇具声望的高级研究员 Jeff Dean 一起,建立一个名为 Project Marvin(以著名的 AI 先驱马文 明斯基命名)的项目,以研究神经网络。后来,一些 Google 工程师开始用 Google Brain 称呼 Project Marvin。

这个项目成果之一,是大型深度学习软件平台 DistBelief。包括 Google 搜索、Google 地图 和 YouTube 在内的 50 多个

赞助本站

人工智能实验室
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港