展会信息港展会大全

AI算力紧张又一良方?边缘计算呼声渐涨 兼具时延、安全等优势
来源:互联网   发布日期:2023-03-24 13:13:43   浏览:6086次  

导读:《科创板日报》3月24日讯(编辑 郑远方) 一款ChatGPT激起AI千层浪,全球各路兵马争相投身,类ChatGPT应用快速铺开,算力需求愈发高涨。 ChatGPT之前一度因访问量激增导致官网瘫痪,GPT-4推出之后也已多次下调付费用户访问限制,券商推测目前 AI大模型的算力...

《科创板日报》3月24日讯(编辑 郑远方)一款ChatGPT激起AI千层浪,全球各路兵马争相投身,类ChatGPT应用快速铺开,算力需求愈发高涨。

ChatGPT之前一度因访问量激增导致官网瘫痪,GPT-4推出之后也已多次下调付费用户访问限制,券商推测目前AI大模型的算力水平已显著供不应求。不难预见,随着这场AI热潮逐步扩张,算力短缺已成为悬在参与者头顶的一把达摩克利斯之剑。

如果说CPO是传输层面的优化、Chiplet是芯片层面的办法,那么边缘计算或许就能称得上是网络架构层面的良药翻阅近期多家券商研报可以看到,边缘算力有望成为AI算力的重要组成部分,更可能成为推理主体

英伟达也指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘装置销售

算力格局生变 巨头已有“示范”

从概念上来说,边缘计算是一种分布式计算框架,它将从终端采集到的数据,直接在靠近数据产生的本地设备或网络中分析,无需再将数据传输至云端数据处理中心。

实际上就在近期,高通发布了全球首个在安卓手机上运行的Stable Diffusion终端侧演示。Stable Diffusion是一个可用文本直接生成图像的AI模型,其参数超过10亿,此前仅能在云端计算集群内运行这便是AI模型在边缘终端的部署。

当前,AI的迭代、训练、推理基本都是在超算中心内进行。但在AI大爆发周期内,迭代和训练所需算力将呈指数级增长,增速将超过单芯片算力增长速度;同时,单个AI超算规模也会受到功耗、土地、散热等因素制约。

因此国盛证券指出,未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化

优势:算力、时延、带宽成本、隐私

缓解超算中心的算力压力是边缘计算的一大用处,除此之外,它还有什么优势?

先是时延与网络带宽使用效率方面:

随着AIGC内容愈发丰富,从简单的文字发展到视频、虚拟场景。若由云生成后发送到端,将产生较多的网络带宽成本和一定程度时延,进而影响模型的商业化进程与用户使用体验,而边缘计算便有助于作为补充手段改善这一问题。

其次是在ChatGPT发展过程中,频被提及的隐私方面:

以上文提到的高通Stable Diffusion为例,其文本输入与图像生成始终无需离开终端,则运行时有助于保护用户隐私。券商也表示,未来AI的推理过程,通过一定的针对性优化后,完全有能力通过边缘算力实施,边缘算力低时延、安全、隐私等优势,也符合未来AIGC时代,对于AI创作所有权和隐私权的要求

智能模组成优秀承载 SoC也迎契机

计算“边缘化”的趋势,对产业链不同环节也提出了相应要求。

一方面,国盛证券指出,智能模组是承载边缘算力的优秀形式。其是融入了算力或通用芯片的通讯模组,目前已应用于车机、消费等多个领域。智能模组未来有望走向依据模型定制算力平台、与使用场景深度绑定的模式,彻底打开行业应用场景与想象空间。

另一方面,光大证券、东方财富证券认为,边缘计算将更多AI与算力赋予边缘设备,带动 AIoT设备的边缘算力需求,这为SoC设计公司提供更多机会的同时,也提出了更高的PPA (性能、功耗、尺寸)要求

据《科创板日报》不完全统计,A股中相关公司有:

AI算力紧张又一良方?边缘计算呼声渐涨 兼具时延、安全等优势

赞助本站

相关内容
AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港