昨天，深耕人工智能加速器领域的 Imagination Technologies带来了一款瞄准ADAS的神器----多核IMG Series4 NNA，号称为ADAS而生的终极AI加速器！其多核算力可以高达600 TOPS！而且，它不止可以应用在ADAS领域还可以应用到更多领域！牛！
“汽车行业正处于变革的风口浪尖，自动驾驶汽车和自动驾驶出租车等新的应用场景对人工智能（AI）的性能水平提出了更高的要求，它们需要高的算力，为此，Imagination已经与汽车行业和其他重视功能安全的行业中的领先企业和创新者展开了合作。Series4刚一推出就获得了业界的认可，已经有多家公司授权该IP。”Imagination Technologies产品管理部门总监Gilberto Rodriguez在发布会上指出，“Series4 NNA拥有全新的多核架构，可提供600 TOPS（每秒万亿次操作）甚至更高的超高性能，并且可为大型神经网络工作负载提供低带宽和极低的延迟。”
对于汽车自动驾驶，要实现更高级的功能必须有强大的算力做保障，ABI Research智慧出行和汽车首席分析师James Hodgson表示预计到2027年左右，对ADAS的需求将增长两倍，但汽车从L2和L3级ADAS向L4和L5级全自动驾驶演进的过程中，神经网络的广泛应用将是至关重要的因素。这些系统将要处理数以百计的复杂场景，从多个摄像头和激光雷达等大量传感器中提取数据，从多个摄像头和激光雷达等大量传感器中提取数据，从而实现自动代客泊车、十字路口管理和复杂城市环境安全导航等解决方案。而高性能、低延迟和高能效的结合将是实现高度自动驾驶的关键所在。
据Gilberto 介绍，Imagination自从2017年在业界率先推出NNA神经网络加速器以后，至今已经是第三代产品，第一代第二代瞄准安防、消费电子等领域，已经获得很多公司的采用，对于NNA的未来规划，Imagination一直在考虑如何可以执行完整的网络推理的同时满足功能安全要求。Series4 NNA针对明确的场景需求，在内核架构上做了突破 ，从而大幅度提升了AI处理能效，为了这些突破，公司在Series3 NNA推出2年后才推出了4系列NNA。
据介绍，Series4 NNA有良好的可扩展性和灵活性，其多核架构支持在多个内核之间对工作负载进行灵活的分配和同步。Imagination的软件提供了精细的控制能力，并通过对多个工作负载进行批处理、拆分和调度而提高了灵活性，现在可以在任意数量的内核上使用。Series4可为每个集群配置 2个、4个、6个或者8个内核。
Series4的每个单核能够以不到一瓦的功耗提供12.5 TOPS的性能。举例来说，一个8内核集群可以提供100 TOPS的算力，那么，配有6个8核集群的解决方案就可以提供600 TOPS的算力。在AI推理方面，Series4 NNA的性能比嵌入式GPU快20倍以上，比嵌入式CPU快1000倍。
延迟是AI运算最关键的指标之一，Imagination通过将多个单核组成2核、4核、6核或8核的多核集群，所有内核可以相互协作，并行处理一个任务，降低处理延迟，缩短响应时间。例如，对于一个8核集群，理想情况下延迟会减少为单核独立执行时的1/8。
节省带宽的专利技术
在进行人工智能计算中，带宽是一个重要指标，如果能节省带宽，则可以大幅度地提升能效，此外，据介绍，Imagination在4系列NNA使用了一个专利的技术--Tensor Tiling技术（Imagination’s Tensor Tiling，ITT），可以将带宽使用减少90%！
Gilberto解释说，在人工智能计算中，各层以融合内核的形式运行在加速器的硬件流水线里，融合内核之间的特征图需要通过外部存储进行交换，使用紧耦合的SRAM可以提升效率，通过tiling技术，充分利用紧耦合的SRAM来融合更多的层，更多的层被融合后，减少了需要通过外部存储交换的特征图。
这样，通过对计算任务进行tiling，充分利用片上存储，提升数据处理效率，并节省访问外部存储的带宽。ITT利用本地数据的依赖性将中间数据保存在片上存储器中，这样可以最大限度地减少将数据传输至外部存储器，从而将带宽降低多达90％。ITT是一种可扩展的算法，在拥有大量输入数据的网络上具有显著优势。
他举例说明，这是没有使用ITT的ResNetv2-50运算过程
这是使用了ITT的ResNetv2-50运算过程
此外，他指出Series4 NNA在处理任务上也有很强的灵活性，任务可以在多个维度被拆分，例如所有NNA单核可以运行不同的工作负载，如下图core 0 可以执行A任务，core 1可以执行B任务，core 2可以执行C任务，core 3可以执行D任务，也可以组合为一起共同执行一个任务，或者为特定任务保留一个或一组单核。还可以在运行时动态分配，总之灵活性非常强。
可以按照场景需要实现延迟和吞吐量之间的平衡。
此外， Series4 NNA还可以和 Imagination 的GPU实现协同，进行更灵活的组合。
发力汽车ADAS
据他介绍，Series4包含IP级别的安全功能且设计流程符合ISO 26262标准，可以帮助客户获得ISO 26262认证。ISO 26262是旨在解决汽车电子产品风险的行业安全标准。Series4可以在不影响性能的情况下，安全地进行神经网络推理。硬件安全机制可以保护编译后的网络、网络的执行和数据处理管道。
他表示Series4 NNA是以软核的RTL代码形式提供给客户的，Imagination的软件工具可以轻松帮助客户导入设计。
Imagination Technologies中国区战略市场与生态高级总监时昕博士表示中国车厂和一些造车新势力在推进汽车智能驾驶方面力度很大，Imagination愿意以最新的技术和高性价比的IP帮助产业健康良性发展。
