不同于云端AI芯片是英特尔、英伟达、AMD独霸的寡占生态,边缘AI芯片因为承袭了物联网具碎片化、应用广、多样化的特质,无法由特定的科技巨头通吃边缘AI商机。因此,在边缘AI芯片领域,巨头长期寡占的局面将注定被打破,众多新创公司商机浮现。
在AI芯片的协助下,边缘与终端装置上的运算能力,可以藉由机器学习或深度学习等技术,加速边缘芯片AI化。同时,因为强化低延迟、低功耗、低成本、高传输等特性,边缘AI芯片在未来世界的价值与角色大幅提升。
与传统的边缘运算相比较,边缘AI在数据处理、过滤与边缘智慧分析等层面上,显著强化。
根据调研机构统计,2022年边缘AI芯片市场规模不到400亿美元,预计2025年将达到500亿美元。再者,TrendForce也预估,全球AI芯片产值至2025年可望达到720亿美元。
微软也看好到2026年,全球AI芯片有3/4会是边缘运算。边缘运算+AI芯片的结合,已经是全球科技巨头与新创公司趋之若鹜投入的产业重大趋势。
一家成立于2017年的美国边缘AI处理器芯片公司Ambient Scientific,日前开发出一款业界功耗最低的AI通用可编程处理器GPX-10,旨在为电池供电和其他快速增长的低功耗设备启用AI,具有独特“永远在线”的AmbiLogic技术。再者,GPX-10也是一款可以同时支持推理和训练功能的可编程AI处理器。
Ambient Scientific成立的宗旨在于开发用在边缘设备上推理和训练的软件定义AI处理器。Ambient Scientific是首席执行官Gajendra Prasad Singh创立,他的早期职业生涯是在Sun Microsystems的SPARC开发团队;在创立Ambient之前是Wave Computing的工程副总裁。
根据Ambient网站上的介绍,2017年成立后,该公司的技术团队从零开始构建了自己的处理器DigAn AI架构,该架构可以从5核扩展到8,000核,从40nm技术扩展到7nm、5nm甚至是更小制程的技术,而这些处理器的每个内核都是软件定义和可编程的。
Ambient的“永远在线”功能消耗不到100微瓦的功率。对大多数的语音应用来说,在100MHz下,完全运行时的功率不到300微瓦。
在物联网时代下,边缘运算已经被谈论多年,但对于不同应用领域和托管的工作目标,边缘运算的目的和定义也不尽相同。边缘运算的应用可以从设备/数据产生地的距离来区分为三种:
厚边缘(Thick Edge):处理高数据流量的计算资源,通常适配高端CPU、GPU、FGPA来执行计算密集型任务/工作负载,例如数据中心的数据储存与分析。厚边缘计算节点由于其强大的计算和存储能力,经常可以独立运行大型算法。
薄边缘(Thin Edge):通常数据不会在传感器数据收集站点上即时处理,而是发送到集中系统上处理并分析,这包括网络设备、工业电脑等,除了配有中间处理器外,也常需要GPU、ASIC等AI芯片。
微边缘(Micro Edge):非常贴近数据源,数据生成设备本身就是微边缘AI计算机。有时薄边缘与微边缘并没有明显区分。由于缺乏可在微边缘运行AI所需的高效且可负担的足够算力的芯片,长期以来微边缘AI一直无法实现。
Ambient的边缘AI芯片解决了这个问题,它使在位处微边缘的传感器近端进行AI计算成为可能。GPX-10非常适合各类AI应用,例如:视觉类应用(如手势识别、图像识别、计算机视觉);语音类应用(如自定义唤醒词、语音识别、身份验证);以及需要多种传感器的智能应用,如各领域设备(包括医疗保舰汽车、游戏、白色家电、物联网和工业产品等),尤其是那些对功率敏感的连接和独立未连接的设备和电器。
通过在边缘启用AI,Ambient的技术可以大幅减少跨网络的数据流量,以及减少对云数据中心的需求。
Ambient的GPX-10处理器配有十个名为MX8的神经网络处理内核和Arm Cortex-M4F主机控制器,提供400KB的板载SRAM和数个外接口(包括一个外部闪存接口)。凭借其独特的传感模数转换器和传感融合架构,该SoC可供连接八个模拟传感器、两个独立的数字麦克风、一个独立的视觉传感器(即摄像头)及大量其他的I2C数字传感器。
Ambient Scientific已经释出测试版本(beta-release)的GPX-10处理器软件堆栈,内含其独特的AI编译器。
Ambient Scientific提供两款软件编译器:一款是专用于特定应用的垂直编译器,适用于快速部署AI应用;另一款是通用编译器,其可更加灵活地执行各种AI算法和应用。
开发者可以在履行完必要的程序后下载Ambient的软件开发套件(SDK),该SDK包括一个基于TensorFlow的训练工具链以用于生成AI模型,以及一个利用GPX-10来执行AI应用的完整的的开发环境。垂直编译器或是通用编译器的建构都是为了在GPX-10的AI核心中最佳化性能和功耗。
垂直编译器允许开发者利用预先确定的神经网络,来创造特殊应用像是声音、计算机视觉、传感融合等。
当垂直编译器用于语言辨识领域,可以支持基于语音的AI应用程序,例如创建唤醒词、指令短语菜单、语音ID、意图探测和其他自然语言处理应用。SDK还可以使得终端用户去多次创造或是改变他们的唤醒词、短语或是语音ID。
再者,通用编译器可以让开发人员使用他们自己选择的AI框架,例如TensorFlow、PyTorch、Caffe、CNTK、Python,C及C++,来创建神经网络模型,并将他们的模型部署在GPX-10 AI处理器上。
目前Ambient的客户有若干一线和二线OEM厂商。GPX-10处理器已开始提供样品,并附SDK和硬件参考设计板。