机器学习的进步，无人驾驶汽车背后的人工智能形式以及许多其他高科技应用已经引领了计算的新时代，这是以数据为中心的时代，并迫使工程师们重新考虑计算架构的各个方面在过去的75年中，这些技术几乎没有受到挑战。
“问题在于，对于当今机器学习最先进的大规模深度神经网络而言，运行整个系统所需的90％以上的电力都消耗在存储器和处理器之间的数据移动中”，电气与计算机工程学助理教授林颖妍说。
Lin和合作者提出了两种互补的方法来优化以数据为中心的处理，这两种方法都在6月3日的国际计算机体系结构研讨会（ISCA）上进行了介绍，这是有关计算机体系结构新思想和研究的主要会议之一。
以数据为中心的体系结构的驱动与一个称为von Neumann瓶颈的问题有关，这种效率低下的原因是自数学家约翰冯诺伊曼于1945年发明内存以来，计算结构中内存和处理的分离一直占主导地位。从程序和数据来看，冯诺依曼架构使单台计算机具有难以置信的通用性。根据从内存中加载的存储程序，可以使用计算机进行视频通话，准备电子表格或模拟火星上的天气。
但是将内存与处理分开也意味着即使简单的操作（如加2加2）也需要计算机的处理器多次访问内存。深度神经网络中的大量操作使该存储瓶颈变得更糟，深度神经网络是通过“研究”大量先前示例来学习做出人性化决策的系统。网络越大，它可以完成的任务就越困难，并且显示的网络示例越多，它的执行效果就越好。深度神经网络培训可能需要专门的处理器库，这些处理器需要全天候运行一周以上。在智能手机上基于学习到的网络执行任务（称为推理）可以在不到一个小时的时间内耗尽电池电量。
赖斯的高效和智能计算（EIC）实验室主任Lin说：“众所周知，在机器学习时代，以数据为中心的算法，我们需要创新的以数据为中心的硬件架构。“但是，机器学习的最佳硬件架构是什么？
“没有一个万能的答案，因为不同的应用需要机器学习算法，这些算法在算法结构和复杂性方面可能有很大差异，同时具有不同的任务准确性和资源消耗，例如能源成本，延迟和吞吐量- -权衡要求，”她说。“许多研究人员正在为此进行研究，而英特尔，IBM和Google等大公司都有自己的设计。”
Lin小组在ISCA 2020上的演讲之一提供了TIMELY的结果，TIMELY是她和她的学生为“内存中处理”（PIM）开发的一种创新体系结构，这种非冯诺依曼方法将处理引入内存阵列。一种有前途的PIM平台是“电阻式随机存取存储器”（ReRAM），这是一种类似于闪存的非易失性存储器。虽然提出了其他ReRAM PIM加速器架构，但Lin表示，在10多个深度神经网络模型上进行的实验发现，TIMELY的能源效率高18倍，并且交付的计算密度是最有竞争力的最新技术的30倍以上ReRAM PIM加速器。
TIMELY代表“时域，内存中执行，LocalitY”，通过消除导致效率低下的主要因素来实现其性能，这种效率低下是由于频繁访问主存储器以处理中间输入和输出以及本地与主存储器之间的接口而引起的。回忆。
在主存储器中，数据以数字方式存储，但是当将其带入本地存储器以进行内存中处理时，必须将其转换为模拟量。在现在的ReRAM PIM加速器中，结果值从模拟转换为数字，然后发送回主存储器。如果将它们从主存储器调用到本地ReRAM以进行后续操作，它们将再次转换为模拟信号，依此类推。
通过使用本地存储器内的模拟格式缓冲区，及时避免了不必要的访问主存储器和接口数据转换的开销。这样，TIMELY几乎可以将所需的数据保留在本地存储阵列中，从而大大提高了效率。
该小组在ISCA 2020上提出的第二个建议是SmartExchange，该设计结合了算法和加速器硬件创新以节省能源。
“访问主内存（DRAM）的能量要比执行计算多200倍，因此SmartExchange的关键思想是在算法中强制执行结构，使我们可以将成本较高的内存换成很多，成本更低的计算，”林说。
她补充说：“例如，我们的算法有1000个参数。” “在传统方法中，我们将所有1,000个存储在DRAM中，并根据计算需要进行访问。通过SmartExchange，我们搜索以找到这1,000个中的某些结构。然后，我们只需要存储10个，因为如果我们知道它们之间的关系， 10和其余的990，我们可以计算990中的任何一个，而不必从DRAM调用它们。
她说：“我们将这10个称为“基本”子集，其想法是将它们存储在靠近处理器的本地位置，以避免或大幅度减少为访问DRAM支付的费用。
研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现，与最新的深度神经网络加速器相比，该组合将等待时间减少了多达19倍。
该研究得到了美国国家科学基金会和美国国立卫生研究院的支持。
