凡是过往，皆为序章。
作者 | 吴恩达
编译 | 陈大鑫、贝爽
编辑 | 青暮
昨日，吴恩达在圣诞节之际回顾了2020年AI的一些重大事件，包括AI应对新冠疫情、数据集存在种族偏见、对抗虚假信息算法、AlphaFold预测蛋白质三维结构、1750亿参数的GPT-3出现等等，并为大家送上节日祝福。
吴恩达寄语：
亲爱的朋友们，在过去的十年中，每年我都会飞往新加坡或香港，与我的母亲一起庆祝她的12月22日的生日。今年，我们则是通过Zoom线上庆生。尽管距离遥远，但我仍然感到很高兴，我的家人们可以从美国，新加坡，香港，香港和新西兰一起线上聚会，并演唱同步性很差的“Happy Birthday To You”。
我希望我也可以和大家一起在Zoom上通话，以祝大家节日快乐，新年快乐！
节假日期间，我经常想一想重要的人，回顾他们为我或他人所做的事，并默默地表示我对他们的感谢。这使我感到与他们的联系更加紧密。
我觉得在我们远离社交的假期中思考这一点非常有价值：谁是您生活中最重要的人，您可能出于什么原因要感谢他们？
无论是面对面的还是在线的，我都希望您能找到属于自己的方式在这个假期里培养于最重要的人之间的关系。
Keep learning！
1
2020年回顾
在过去一年，一种新的具有高度传染性的冠状病毒破坏了人们的正常生活，它所导致的社会裂痕也威胁到了我们的共同利益。
在这一年期间，有大量的机器学习工程师参与其中，设计了用于新冠肺炎（Covid-19）诊断和治疗的工具、建立了识别仇恨言论和虚假信息的模型，并指出和强调了整个AI社区偏见的存在。
但是事情也有轻松的一面：这一年里可以将睡衣一键转换成西装的在家办公工具、GPT-3语言模型、在AI辅助艺术和表演方面的引人入胜的实验。
接下来请就让我们一起探讨过去一年我们的艰辛和辉煌。
一、AI用于应对新冠疫情
1、AI加快了科学家对冠状病毒疫苗的搜寻，全球的机器学习研究人员争先恐后地利用AI技术来对抗冠状病毒。
2、巴黎和戛纳市在公交车站、公共汽车和市场中使用计算机视觉评估了法规的遵守情况。
3、多哥政府训练一个模型以识别卫星图像中的贫困地区，然后使用模型的输出指导将救济金分配给最需要的人。
摄影：环球影业集团/阿拉米
4、聊天机器人提供了合成的虚拟朋友，供被疫情封锁的人们孤独时聊天和调情。
5、对于在家工作的人们，视频会议公司训练AI模型来过滤背景噪音并将睡衣变成虚拟的商务正装。
6、中国许多机构合作开发了一种可在CT扫描中检测Covid-19的模型，其准确度超过90％。该模型已在七个国家/地区部署，到目前为止，该模型的代码已下载了超过300万次。
相关链接：https://www.cell.com/cell/pdf/S0092-8674(20)30551-1.pdf
7、美国生物技术公司Moderna，其疫苗于12月份获得美国食品药品监督管理局的批准，它使用机器学习来优化mRNA序列以转化为可以测试的分子。
图源：https://www.shutterstock.com/
新闻背后：AI可能仍在治疗Covid-19中起重要作用。某非营利组织使用了半监督式深度学习平台来筛选14,000种候选抗病毒药物。该系统验证了有望用于动物试验的四种化合物。
8、在防范新冠疫情传播中，口罩成为了绝对主力。为了让大众乖乖带上口罩，人们可谓是操碎了心，AI也在这时候帮上了忙。
有人开发了一套AI系统，号称能够根据一个人说话的口音“听”出是否佩戴口罩，且检测的准确率已经达到了78.8%。
研究人员开发这项技术的初衷是，他们发现，戴上口罩会影响语音的的效果，这是由于肌肉收缩、发声量增加和传输损失引起的。
如今，戴口罩已经成为了日常。为了适应全民戴口罩的新环境，许多AI应用也在对自身进行升级。一些企业就开发出了口罩检测模型，可以判断人群中的个体是否有戴口罩，甚至还开发了对戴口罩人脸进行身份识别的模型。
我的立场：人工智能不是万能药，但这种新型、高病毒性、高传染性冠状病毒的问世已经成为人类利用AI对抗传染病能力的有力试验。
二、Deepfake伪造“一切”
当生成对抗网络渗透到文化、社会和科学领域时，它们正悄悄地在网络中充斥着无数的合成图像。
图源：Techtalk
Deepfake出现在主流娱乐活动、商业广告、政治活动中，甚至出现在纪录片中，用来替换当事人的真实面貌以提供隐私保护。在喧嚣中，对图像生成器的在线前端的狂潮基本上没有引起人们的注意。
受到2019年的“ This Person Does Not Exist”（一个可以生成假的、逼真的个人肖像网络应用程序）的启发，具有幽默感的工程师采用模仿现实世界细节的生成对抗网络（GAN）。
例如：
1、经过训练的Google Earth 可以使“This City Does Not Exist”产生大大小小的不存在的定居点的鸟瞰图。
AI生成的假的鸟瞰图 图源：http://thiscitydoesnotexist.com/
2、“This Horse Does Not Exist” 可以生成各种各样的姿势、品种和状态的马：
图源：https://thishorsedoesnotexist.com/
3、 “This Pizza Does Not Exist” 生成不存在的披萨，与真实的披萨相比，可能会缺少一些奶酪和酱汁的光泽感。
4、用AI生成的不存在的中国山水画，欺骗了众多艺术爱好者。
论文链接：https://arxiv.org/pdf/2011.05552.pdf
5、用AI生成不存在的雪人：
关于GAN的发展、应用和风险等问题，我曾经对Ian Goodfellow进行了简单的访谈。
Ian Goodfellow表示，他在GAN那篇论文中就列举了很多未来可能的研究方向，但没有想过域到域的转换（domain-to-domain translation），比如CycleGAN。
关于GAN的用途，Ian Goodfellow认为，将GAN应用在医学领域会更有意义，比如为牙科患者设计个性化的牙冠，以及设计药物等等。
最后，谈到GAN输出中包含的偏见，Ian Goodfellow表示：“随着GAN生成人脸越来越逼真，GAN可以通过为其他机器学习算法生成训练数据，来抵消训练数据中的偏见。如果你使用的语言在数据中代表性不高，则可以对其进行过度采样。但是，我希望还有其他方法可以解决数据集中代表性不足的问题。”
访谈更多内容参见以下链接：
https://blog.deeplearning.ai/blog/the-batch-gan-special-issue-ian-goodfellow-for-real-detecting-fakes-including-minorities-synthesizing-training-data-applying-virtual-make-up
三、ImageNet等数据集存在种族偏见
深度学习的基本数据集开始受到广泛关注。
由于数据集的编译、标记和使用方式的不同，导致其在模型训练过程中会对社会边缘化群体产生偏见。研究人员的审查促进了AI的改革，同时也加深了人们对AI所隐含的社会偏见的认识。今年涉及的典型案例包括：
1、知名计算机视觉数据集ImageNet被推到了风口浪尖。ImageNet的创建者李飞飞及其同事对数据集进行了重新梳理，并删除了WordNet词汇数据库带来的种族主义、性别歧视和其他贬义标签。
2、一项研究发现，即使使用未经标记的ImageNet数据进行训练，其模型也可能由于数据多样性不足而引起偏差。
3、麻省理工学院计算机科学与人工智能实验室撤回了Tiny Images数据集，原因是有外部研究人员发现该数据库充斥着性暗示、种族歧视等大量不良标签。
4、用于训练StyleGAN的数据集FlickrFaces-HQ（FFHQ）同样缺乏足够的多样性。基于StyleGAN模型训练的PULSE算法将美国黑人总统巴拉克奥巴马（Barack Obama）的肖像画变成了白人。（PULSE可以将提高低分辨率照片转化为高分辨率的图像）
在PULSE事件爆发后，Facebook首席科学家Yann LeCun和当时Google AI伦理负责人Timnit Gepu之间展开了一场辩论，争论的焦点在于：机器学习中的社会偏见是出自AI数据集，还是AI模型？
LeCun的立场是：模型在训练“存在偏见的数据集”之前不存在偏见，也就是模型本身不存在偏见，而且有偏见的数据集是可以修改的。Gepu则表示：正如我们在信中所说的，这种偏见是在社会差异的背景下产生的，要消除AI系统的偏见，必须解决整个领域的差异。随后，在关于偏见的进一步分歧中，Gepu和谷歌分道扬镳。
Gepu对人脸识别技术进行过深入研究，并曾就科技行业缺乏多样性发表过言论。此次Gepu被谷歌解雇事件的起因是Gepu想要发表一篇关于大型语言模型的社会危害的论文，但被谷歌内部否决、要求撤稿，Gepu尝试沟通无果，控诉谷歌不尊重边缘群体的人权。
我的立场：确保数据集中的偏见在任务开始前被删除，而这项重要的工作才刚刚开始。
更多信息：过去一年中有关减少技术偏见的研究报告。
https://blog.deeplearning.ai/blog/the-batch-ais-progress-problem-recognizing-masked-faces-mapping-underwater-ecosystems-augmenting-feature
