新智元推荐
来源：AI科技评论
编辑整理：元子
【新智元导读】作为人工智能特别是语音和自然语言领域的里程碑人物，邓力荣获学术界的盛高荣誉：入选加拿大国家工程院院士。这是继加拿大深度学习先驱者获图灵奖公开两周之后对深度学习巨大成就的再次肯定。
邓力本科毕业于中科大，先后在美国威斯康星大学获硕士和博士学位，之后在加拿大滑铁卢大学任教获得终身正教授，其间还担任麻省理工学院和日本位于京东的 ATR 研究所职位。
他于 1999 年底加入微软研究院历任数职，在 2014 年初创办深度学习技术中心，主持微软公司和研究院的人工智能和深度学习领域的技术创新；并于 2015年底正式被任命为微软人工智能首席科学家。
2017 年离职微软加入对冲基金公司 Citadel 担任首席人工智能官至今。之前其研究方向包括自动语音与说话者识别、口语识别与理解、语音语音翻译、机器翻译、语言模式、自然语言处理、统计方法与机器学习、神经科学、听觉和其他生物信息处理、深层结构学习、类脑机器智能、图像语言多模态深度学习以及商业大数据深度分析预测等。
2015 年，他凭借在深度学习与自动语音识别方向做出的杰出贡献获得 IEEE 技术成就奖，此外他还获得过 IEEE、国际言语通讯协会、美国声学协会、亚太信号与信息处理协会、微软等组织授予的多项荣誉。
邓力教授入选加拿大工程院院士的通知信：
Dear Dr.Deng,
The Canadian Academy of Engineering (CAE) comprises a small number of distinguished engineers, from all disciplines, who have undertaken to serve the country and the profession in matters of poad concern.
As President of the CAE, it is my privilege to inform you that, in recognition of your notable achievements, our Fellows have elected to offer you Fellowship in our academy. I congratulate you on this outstanding recognition! Should you accept our offer, you will be joining the most highly accomplished people in the field of engineering in Canada. Our website features a list of our Fellows, and I am sure that many of the names will be familiar to you.
The CAE has close ties with similar prestigious academies throughout the world, via our membership in the International Council of Academies of Engineering and Technological Sciences (CAETS). Furthermore, the CAE is one of the three Member Academies of the Council of Canadian Academies, the other two being the Royal Society of Canada (RSC) and the Canadian Academies of Health Sciences (CAHS).
It is my sincere hope that you will accept the invitation to become a Fellow of the Canadian Academy of Engineering and that you will assist us in advancing our mission. Our Fellows are encouraged to display their certificates of membership, and to use the letters "FCAE" on their signature blocks and bussiness cards.
Please inform our Executive Director, Kevin Goheen, of your agreement to accept this invitation before 19 April, 17:00 EDT, by completing the enclosed form and returning it by fax or e-mail. If you have any questions or concerns, Please contact our Executive Director, Kevin Goheen.......
翻译如下：
邓博士您好，
加拿大工程院（CAE）由来自各个学科的少数杰出工程师组成，他们都致力于在广泛关注的问题上为国家和专业做出贡献。
我作为 CAE 的主席，很荣幸地通知您，为表彰您在学术方面取得的显著成就，现任院士表决选举您为 CAE 院士。祝贺您获得这一荣誉表彰！如果您接受成为 CAE 院士中的一员，也就加入了加拿大工程领域成就最高的科学家队伍。您可以在我们的网站查看 CAE 院士的完整名单，相信其中的很多人都是您所熟知的。
由于我们隶属于国际工程与技术科学院理事会（CAETS），所以 CAE 与世界各国级别相同的工程院/科学院都有着密切的联系。此外，CAE 还是加拿大国家学院理事会的三大组成部分之一，另外两个是加拿大皇家学会（RSC）和加拿大健康科学院（CAHS）。
我真诚地希望您接受当选加拿大工程院院士的邀请，并与我们共同推进 CAE 的使命。我们提议院士们在成员证书的签名栏和商务卡上签上「FCAE」几个字母。
如果您愿意接受我们的邀请，请于北美东部夏令时间 4 月 19 日 17:00 之前告知我们的执行主席 Kevin Goheen，具体告知方式为：填写信件所附表格并通过传真或电子邮件将其返回。如果您有任何问题或疑虑，可随时联系我们的执行主席 Kevin Goheen……
加拿大国家工程院这样描述他的入选理由（Citation）：
Li Deng is an internationally prominent researcher, engineer, educator, and technology leader in artificial intelligence, machine learning, signal processing, financial engineering, speech recognition, and natural language processing. He has invented a series of ground-peaking machine learning paradigms, architectures, methodologies, and algorithms for hidden Markov models and deep neural networks. He has been widely recognized for his 2009-2013 pioneering contributions to world-wide speech recognition industry using large-scale deep learning. His original and landmark research, over 30 years, combined with his outstanding leadership in advancing engineering knowledge, have culminated in the spectacular effects of deep learning and AI on society today.
翻译如下：
邓力是一位享誉国际的研究者、工程师、教育家以及人工智能、机器学习、信号处理、金融工程、语音识别、自然语言处理领域的技术引领者。他为隐马尔科夫模型和深度神经网络发明了一系列史无前例的机器学习范式、架构、方法论以及算法。他在 2009－2013 年应用大规模神经网络对全球语音识别工业界作出了先驱性的贡献，并因此而享誉世界。他在 30 多年研究生涯中所做出的独创性和里程碑式的研究成果与他在推进工程知识方面的杰出领导力，对人工智能及深度学习的社会进程带来了令人惊叹的影响。
「道阻且长」的神经网络早期探索之路
邓力在大学本科期间学的专业是神经科学和生物物理学，不过他真正走上神经网络探索之路则是在博士期间。
20 世纪 80 年代，计算机还无法满足大型神经网络所要求的算力，也使得这一领域的研究遭遇着不小的瓶颈。当时正在斯康星大学麦迪逊分校攻读博士学位的邓力，在研究过程中尝试使用物理模型和神经模型来创建人类听觉模拟和语音识别神经模型，这一研究也同样受到计算力等客观条件的限制，于是他转而尝试采用提取生物模型特征以及隐马尔可夫模型的方法。但由于当时这两个模型尚不成熟，最终取得的结果依旧不理想。
即便几经挫败，邓力也始终在进行着统计模型和计算人工神经网络在内的相关研究，并在加入加拿大滑铁卢大学任职终生教授期间与他的一位博士生在合作的一篇论文中提出了一种增强神经网络记忆的新模型：将（短路）线性项加到非线性项来增强非线性神经网络的记忆能力。虽然这项成果实现了一个完整的系统，然而当真正用在语音识别上时，性能还是无法超越隐马尔科夫模型。
有趣的是，当时这位博士生论文的 External Examiner 正是深度学习领域赫赫有名的 Geoffrey Hinton。对于这篇论文，他感慨道，「神经网络成功真是太难了」。虽然这篇论文最终通过顺利让这位博士生拿到了博士学位，但是 Hinton 这句意味深长的感慨也在无形中对邓力之后的研究方向起到了一定的影响，让他不得不暂时放下神经网络的研究，转向可行性较高的贝叶斯统计方法和生成模型。
峰回路转：重拾深度神经网络，并实现革命性突破
如果说加入微软后的邓力遭遇贝叶斯方法在语音识别研究上的瓶颈是他不得不重新考虑神经网络模型的契机之一，那曾经感叹过「神经网络成功真是太难了」的 Geoffrey Hinton 则是他真正重拾神经网络并实现突破性进展的「最佳助攻」。
1999 年底，邓力正式加入微软美国研究院，主攻语音识别的机器学习方向，并采用自己探索了多年的贝叶斯方法进行语言识别研究，然而这种方法无法适应增加层数后带来的计算复杂度的指数级增长，即便他带领团队尝试了很多方法来解决这一出题，最终也还是无法取得理想的进展。不过在这种情况下，邓力依旧还没有考虑重拾神经网络来摆脱这一困境的信息，直到邓力读到 Geoffrey Hinton 于 2006 年发表的一篇关于深度信念网络的论文（《A fast learning algorithm for deep belief nets》）。
这篇论文中提出的模型也有多层生成式结构，然而并没有出现计算复杂度无法驾驭的问题，网络仍然能够对手写数字图像及其标签的联合分布生成表现良好的生成模型。邓力受此启发，意识到将深度神经网络应用到语音识别的可能性。
一场博士生论文外审，一次来自论文的启发，邓力对于深度神经网络的研究之路似乎跟 Geoffrey Hinton 结下千丝万缕的关联，2009 年，邓力不仅邀请 Geoffrey Hinton 作为他的顾问来共同探索深度神经网络在语音识别上的应用，二者还在 NIPS 2009 会议上联合组织了「2019 Workshop on Deep Learning for Speech Recognition and Related Applications」，分享尝试使用新方法训练的深度学习神经网络在语音识别上初步取得的可喜的进展。
有了这些成果作为基础，2010 年，邓力带领他的微软团队进行了大规模的实验，终于「守得云开见月明」，实现了深度神经网络在工业界的大型语音识别上的革命性突破，也让这个「2010 年」成为中国的语音领域的一个重要年份。
这一年，邓力和其团队成员俞栋探索用深度神经网络来改善大词汇语音识别的项目，并一同提出使用深层神经网络对一种比音素小很多、叫做 senones 的建模单元直接建模的方法。
另外值得一提的是，在这个项目开始之前，邓力还作为团队经理为微软西雅图研究院招来了 Geoffrey Hinton 的两位研究生（Abdo Mohamed 和 George Dahl）作为实习生，也正是 George Dahl 在 GPU 方面的丰富经验，对于这个研究项目起到了巨大的推动作用；随后邓力和俞栋又尝试将前馈神经网络（FeedForward Deep Neural Network，FFDNN）引入到声学模型建模中，将 FFDNN 的输出层概率应用于替换之前 GMM-HMM 中使用 GMM 计算的输出概率，取得了具有突破性的效果。
基于这一系列的成果，邓力和 Geoffrey Hinton 合作了论文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》，经过近一年的审稿和修改并在 2012 年底将其在 IEEE Signal Processing Magazine （当时邓力刚刚从这家 IEEE 影响因子最高的杂志主编职位下任）正式发表。
该论文不仅讲述了深度神经网络对语音识别产生的影响，还阐述了如何将不同的机器学习方法（包括深度神经网络的方法）整合起来，为大规模的语音识别带来了重大的进展。这篇论文的被引用量已超过 5600 次，成为近代语音识别领域中最重要的论文。
时至今日，Geoffrey Hinton 与 Yoshua Bengio、Yann LeCun 一同摘下了2018 年图灵奖，更是证明了深度学习神经网络这一方向的正确性和影响力。而邓力曾在 2016 年底同李开复分别向图灵奖评选委员会主席写信推荐和支持 Geoffrey Hinton 获奖，一时也成为业内佳话。
当纽约时报 2019 年 3 月 27 日首次报道加拿大深度学习的先驱获图灵奖时，更是引用了
邓力对 Hinton 杰出成就的高度评价
。
离开任职十几年的微软，跨界金融领域
2017 年，邓力离职记载了他十几年光辉岁月的微软，转身投向金融领域，加入对冲基金公司 Citadel 担任首席人工智能官（Chief Artificial-Intelligence Officer），立志要让深度学习和人工智能技术在这个他认为机会已相对成熟的金融领域大显神通。
Citadel 对于投资者来说应该并不陌生。它成立于 1990 年，是美国长期以来二级市场投资最成功的对冲基金公司之一。它拥有传统量化投资和高频交易最出色最优秀的专家，在见到深度学习在高科技成功之时就热切期望同勇于跨入金融业界全新广阔领域的人工智能专家进行最有效的合作。
投资公司在量化投资、高频交易的人工智能布局就一直被业内外人士关注。对于以高频交易为长的 Citadel 来说，计算机技术和交易策略算法就称得上是它的安身立命之本了，因此其在机器学习上的布局需求不言而喻。
而受邀加入 Citadel 担任首席人工智能官的邓力，他加盟之前的主要研究方向便是应用于大数据、语音、文本、图像和多模态处理的深度学习和机器智能方法。在业界沉浮多年时间里，邓力在进行学术研究的同时，在微软内部对人工智能技术商业化落地方面的实践也有很大的造诣。
2014 年，邓力在微软创立深度学习技术中心 DLTC 后，带领团队在深度学习的应用拓展方面做出了不少成果，其中就包括互联网搜索问答、电子邮件及企业文件搜索、多模态深度学习、市场销售数据的深度学习与商业应用等等。到了 2016 年，他进一步面向实际问题的解析性和不确定性问题，研究如何将深度学习与不同的机器学习方法进行整合，从而让人工智能做出对使用者有解释性的最优决策。
如此看来，邓力在自然语言、商业数据分析和提炼洞见方面颇深的积淀与 Citadel 在机器学习和人工智能上的布局需求可谓是不谋而合的。对于 Citadel 来说，邓力的加入将能够极大地助其解决量化模型建立、风险判断、价格趋势预测、评估交易者的非理性行为等等问题，让机器学习在数据分析问题上甚至发挥得比人类更好；而对于看重技术落地的邓力而言，投资机构则是一个不可多得的数据充沛的载体，他能将模型和算法的成果在大规模的数据集上进行验证，从而对机器学习在应用场景中需要解决的现实问题进行更深入的探究， 并解决传统量化金融模型目前解决不了的问题。关于人工智能应用于金融投资领域，我们可以从邓力去年在 MIT Technology Review EmTech 大会的公开演中看到他讲的三大挑战，以及从他在 University of California-Berkeley Hass 商学院的公开访谈中了解他的相关见解。
