展会信息港展会大全

大模型催生边缘算力需求,这家公司要用Chiplet重构AI芯片|把脉AI大模型
来源:互联网   发布日期:2023-06-27 10:14:59   浏览:6896次  

导读:界面新闻记者 | 李彪 界面新闻编辑 | 当GPT-4首次支持多模态后,文本、图像、视频及更多形态的数据都被设想成未来可以喂给大模型的数据。从训练到推理,从数据中心到边缘,AI引爆的数据多模态化浪潮使得业界意识到算力明显不够用了。 大模型的爆发首先带动的...

界面新闻记者 | 李彪

界面新闻编辑 |

当GPT-4首次支持多模态后,文本、图像、视频及更多形态的数据都被设想成未来可以“喂给”大模型的数据。从训练到推理,从数据中心到边缘,AI引爆的数据多模态化浪潮使得业界意识到算力明显不够用了。

“大模型的爆发首先带动的是训练,算力需求目前最紧俏也是这部分,英伟达目前在训练一侧是绝对的霸主。但当大模型训出来后,开放API响应广大网友们每天的各种请求,推理的算力价值就会被浮出水面。”原粒半导体创始人兼CEO方绍峡博士接受界面新闻采访中告诉记者。

原粒半导体是一家AI Chiplet供应商,公司正式成立于今年4月,创始团队来自国际半导体巨头,在AI芯片领域深耕多年。

这支新创业团队的目标是通过结合创新的多模态AI处理器技术与Chiplet设计方法,提供高能效、低成本的通用AI Chiplet组件,客户可以根据实际业务需求低成本、灵活、快速配置出不同算力规格的AI芯片,以满足多模态大模型的推理及边缘端训练微调需求。

Chiplet通常被定义为模块化芯片的设计概念,包含“IP芯片化(IP as a Chiplet)”和“芯片平台化(Chiplet as a Platform)”。与之形成对比的传统集成电路的SoC技术(片上系统)。

它是将原本集成在一整块芯片上全部核心处理器IP(例如图形处理器 (GPU)IP、 视频处理器 ( VPU )IP、 数字信号处理器 (DSP)IP、神经网络处理器 ( NPU )IP等等)按功能拆分成一个个的独立单元,即芯粒,俗称“小芯片”。芯片厂商通过采购这些芯粒,按需求利用2D、3D封装做拼搭组合,做到“即插即用”。

受摩尔定律的物理极限限制,传统SoC技术在突破更小尺寸的先进制程的迭代道路上成本高、良率低。

同时SoC芯片在近几年的发展中,除与AI计算功能相关的IP外,其他部分规格变化缓慢,大模型的出现更是显著拉大了这一差距。若沿着SoC路线,更新迭代流片成本过高。

在此前提下,Chiplet因为能够突破单颗芯片的面积制约、模块化后又通过先进封装可以实现异构集成,是成本更低的解决方案。

此外,大模型推理对于边缘算力的需求也是未来的另一大趋势。

方绍峡认为,与云计算的数据中心架构相比,大模型在边缘端的智能计算是在一个已经训练好、有基本智能水平的模型基础上。当边缘端具备多模态大模型的离线学习进化能力时,本地模型将变成私人定制化的东西,数据也无需再往云端上传。这部分推理与训练微调过程主要依赖边缘多模态大模型AI算力。

在这种前提下,同“一卡难求”的英伟达GPU提供给的算力相比,引入第三方算力自然而然地成了一种降成本、提效率的可行选择。

目前,原粒半导体当前思考的商业模式主要是作为AI Chiplet产品的上游供应商,向下游的SoC厂商及系统厂商提供标准化的多模态大模型AI 算力Chiplet产品。

上下游产业链上的“SoC主控+AI Chiplet”组合可有效复用芯片主控,显著降低成本,快速满足各类规格需求,同时也是Chiplet产业化的机遇,预计也会是公司未来主要的营收渠道。

原粒半导体自身定位于AI算力基础设施供应商。Chiplet目前还是新鲜事物。因此需要芯粒厂商积极适配SoC厂商及系统厂商需求,多模态AI算力Chiplet也将给AI算力市场带来全新可能。

原粒半导体近期宣布已经完成数千万元人民币种子轮融资,本轮融资由英诺天使基金领投,中关村发展集团、清科创投、水木清华校友种子基金、中科创星等多家机构跟投。本轮融资将用于公司核心团队组建以及创新技术研发。

赞助本站

相关内容
AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港