展会信息港展会大全

开源的Tengine AI推理框架平台是否可以助力国产芯片突围?
来源:互联网   发布日期:2020-10-13 08:34:02   浏览:7439次  

导读:近两个月来,由于国际局势导致海思的芯片供应链出现问题,海思的安防芯片缺口逐渐扩大,从华南地区逐步扩散至其他城市,从高端型号延伸到中低端型号,价格一路飙涨,能否有持续稳定的货源成为了从业者的心头...

近两个月来,由于国际局势导致海思的芯片供应链出现问题,海思的安防芯片缺口逐渐扩大,从华南地区逐步扩散至其他城市,从高端型号延伸到中低端型号,价格一路飙涨,能否有持续稳定的货源成为了从业者的心头玻

开源的Tengine AI推理框架平台是否可以助力国产芯片突围?

算法模型迅速、高效化的工业化落地,是当前行业的面临的一大问题。原本学术界与工业界就存在较大 GAP,加上 NPU 芯片的突然兴起,说是为了提高工业界的效率,事实上很多常规的的学术界模型都较难快速部署到 NPU 芯片上。本质原因是芯片产品的迭代周期往往以年为计数单位,且NPU属于低可编程性ASIC芯片,很多NPU没有较完整的指令集,直接对寄存器进行操作;而学术界的各种 Operator 是以季度为单位在更新,因此模型算子不支持的问题在NPU部署场景预期会长期存在,现在业界对NPU部署很多基于较为传统的模型或者基于NPU可支持的操作选型模型。

为了解决AI边缘应用开发部署遇到的真实问题,OPEN AI LAB的边缘AI推理框架Tengine团队今年全力投入到赋能 AI 芯片的工作中,打通从算法到AI芯片部署的环节,助力解决开发者开发者自行适配难、效率低、性能差的问题。

Tengine团队也在今年八月开始了对RV1109/RV1126的适配支持,目前Tengine已经完美适配 RV1109/RV1126 芯片。Tengine 对RV1109/1126的适配做到了算子级的封装调度,框架自动对底层算力资源进行调度,包括NPU、CPU用于神经网络推理以及2D图形加速用于神经网络图片前后处理。


赞助本站

AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港