摩尔定律最初指出了一种趋势,即集成电路上的晶体管数量每1.5年增加一倍。曾协助推出 GeForce Experience的前NVIDIA工程师James Wang说,人工智能(AI)的发展速度比摩尔定律快5到100倍。
2010年到2020年,花费在AI培训模型上的计算机处理能力非常强劲的在增长。在下图中,纵轴是处理能力,“ Petaflop /天”表示每天每秒执行4万亿次操作。
自 1958年推出Perceptron以来,处理能力每两年翻一番,直到2010年左右。
但是,从2010年到2020年,处理能力正以每年约10倍的速度增长,如下图所示,比摩尔定律快5倍以上
诸如 Google的Alpha Go Zero和Tesla的Autopilot之类的大公司正在投入大量的AI开发工作,以期获得长期的投资回报,自行进行深度学习以及与大学合作进行研究开发正在进行中。
另一个重要的一点是,人工智能深度学习的培训成本每年下降了10倍。例如,在2017年左右,在公共云上训练像ResNet-50这样的图像识别网络大约花费了1,000美元(约合108,00元),但在2019年所需的成本约为10美元。到(约108元)。在下图中,垂直轴是成本,水平轴是年和月,每个点是Legacy GPU(黑色),表示旧版NVIDIA GPU ,NVIDIA的Volta GPU
(蓝色),Google的Cloud TPU(红色)。
如果维持从2017年到2019年的成本下降趋势,到2020年,成本可能会降至1美元。
在下图中,垂直轴代表成本,水平轴代表年和月。分类约10亿张图像的成本在2017年约为10,000美元,但在2020年仅为约0.03美元已经下降到。
将与深度学习相关的成本变化率与摩尔定律进行比较,Wang认为其变化是摩尔定律的10到100倍。硬件和软件的突破使得大幅降低成本成为可能,IC芯片和系统设计技术在2017年至2020年之间发生了巨大的发展,并且专用于深度学习的硬件也已经出现。在做。
下图显示了由斯坦福大学基准测试得出的NVIDIA Tesla硬件和软件的性能评估,其中纵轴为性能改进率,横轴为NVIDIA Tesla版本名称。查看下图左侧的图表,您可以发现Tesla V100的性能比Tesla K80提升了约16倍。
此外,V100 Tesla TensorFlow和PyTorch中的深度学习框架通过结合新的培训方法,据报道,在正确的视角下,软件性能已提高了约8倍。
同时,硬件成本并没有下降,而且多年来一直很高。例如,用于数据中心的NVIDIA GPU的价格是过去三代的三倍。自2017年Amazon Web Services推出NVIDIA的Tesla V100以来,该服务的价格一直保持不变。
如果人工智能技术继续发展,那么与人工智能相关的公司在全球股票市场中的市值将大大增加。下图显示了与信息技术(黑色),互联网(蓝色),人工智能和深度学习(绿色)相关的公司的市值。纵轴表示全球股票市场的份额,横轴表示年份。截至2019年,人工智能在世界股票市场的市值约为1万亿美元,但到2037年它将扩展到30万亿美元。Wang推测其市值将比互联网公司更高。
鉴于AI的计算能力不断增强,深度学习的成本不断下降以及股票市场的市值,Wang表示:``人工智能仍在发展中,并且可能会持续数十年增长。''