展会信息港展会大全

AI服务器价格涨近20倍!带火哪些芯片?
来源:互联网   发布日期:2023-05-27 09:09:19   浏览:11181次  

导读:所有与英伟达相关的AI服务器都在涨价。有企业最近向媒体透露,去年8万元一台的AI服务器,今年已经涨到160万元,涨了近20倍。 ChatGPT大火后,各大科技企业纷纷发力AI大模型,作为通用的算力芯片,英伟达的高端GPU开始供不应求。A100价格从去年年底开始暴涨,...

“所有与英伟达相关的AI服务器都在涨价。”有企业最近向媒体透露,“去年8万元一台的AI服务器,今年已经涨到160万元,涨了近20倍。”

ChatGPT大火后,各大科技企业纷纷发力AI大模型,作为通用的算力芯片,英伟达的高端GPU开始供不应求。A100价格从去年年底开始暴涨,至今涨幅接近40%,连上一代V100的价格也被炒到近10万元,中国特供版A800更是相当紧缺。

AI服务器的涨价很大程度上与这波行情有关,作为算力的基础设施,无论是训练,还是模型推理,AI服务器都是必需品,且往往需要的不止是一台两台。那么AI服务器是什么?跟一般服务器有什么区别?英伟达的GPU,为何让AI服务器大涨特涨?除了GPU,AI服务器里还用到哪些芯片?哪些芯片能够跟着受益?

01 什么是服务器?如何分辨AI服务器?

AI服务器由传统服务器演变而来。服务器,几乎是办公室打工人手里电脑的翻版,它属于高性能计算机,存储、处理着网络上80%的数据、信息,被称为网络的灵魂。

如果微机、笔记本、手机等网络终端是分布在家庭、办公场所、公共场所的电话机,那么服务器就是邮局的交换机,把网友们共享的网络游戏、网站,企业的数据等存放其中,又可分为文件服务器、云计算服务器、数据库服务器等。

AI服务器价格涨近20倍!带火哪些芯片?

放置服务器的机房,全年无休,来源:ecl-ips.com

相比电脑,服务器在稳定性、安全性、性能等方面都要求更高,毫不夸张地说,每年双十一若不是有足够牛X的服务器,购物狂欢节会变成“网络错误”或“请稍后再试”的刷屏节。

毕竟短短一两分钟内,就要处理剁手党们发送给电商服务器的上千亿交易订单,再发送给用户进行响应,数据流量到达巅峰(2018年,天猫双11支付峰值为25.6万笔/秒,数据库处理峰值为4200万次/秒),每年对服务器的性能都是一次大考。

这操作放在1964年诞生的第一代服务器System/360身上大概是无法想象的,那时无论网络还是分布式计算都没诞生,当年IBM推出它的时候,还是在协助美国太空总署建立阿波罗11号的数据库,助力人类登月。它每秒可计算100万次,价格高达200-300万美元一台,体积庞大,很多银行采购这样的IBM大型机开展业务。

很快在1965年,服务器的价格被打了下来,这年DEC公司开发了PDP-8小型机,掀起了小型机革命。90年代初,互联网兴起,RISC架构的服务器如日中天,英特尔x86架构的服务器让很多小企业甚至是个人用户都能买得起,不到20年的时间,英特尔迅速统治了各类计算机市常

AI服务器价格涨近20倍!带火哪些芯片?

在AI服务器之前,服务器大致经历了Wintel时代、云计算时代两个时代的演变,随着新一代人工智能技术的到来,摩尔定律的“到头”,CPU的物理工艺和核心数接近极限,单靠CPU提供算力的传统服务器,很难满足AI对密集型计算的需求。

机器学习和人工智能代表了一个基本的新架构,人工智能需要专属的基础结构进行承载和支撑,AI服务器从此应运而生。

谷歌、BAT等企业面对海量的数据,打造一座数据中心时,通常都要配备成千上万台服务器。以用到A100的ChatGPT为例,其部署的大算力计算,每个GPU或大算力AI芯片的算力大于100TFLOPS。这时就要给服务器们上更高的配置,强强联手,搭载GPU或者其他类型的AI芯片,比如GPU就非常擅长做一些CPU做不了的密集型数据运算。

AI服务器和普通服务器最大的区别,就是AI服务器通常打组合拳,比如CPU+GPU、CPU+TPU、CPU+其他的加速卡等,CPU在AI服务器中,彻底卸下了算力的包袱,当当领导指挥下就行。

02 一台AI服务器涨价近20倍,凭啥?

一台AI服务器的价格,从去年到现在涨了近20倍。而一台普通服务器,都换不到AI服务器里的8个GPU,价格上相形见绌。大家都在数据中心里躺着,凭什么AI服务器这么金贵,价格疯涨?

在AI服务器中,CPU退居幕后,GPU等AI芯片在其中充当主角做大量运算,算力无止境,事实上,AI服务器通常有且不仅只有一块GPU

虽然FPGA、各类ASIC芯片也可以做大量运算,但GPU强大的通用性使得它更吃香。IDC数据显示,2021年上半年中国人工智能芯片行业中,GPU显著成为实现数据中心加速的首选,占有90%以上的市场份额。

CPU方面,AI服务器一般仅搭载1-2块CPU,GPU的数量就占上风了,根据GPU数量的不同,AI服务器进一步分为四路、八路和十六路服务器,搭载8块GPU的八路AI服务器最常见。

AI大模型分为训练和推理两种,训练模型要求的算力很高,推理相对要求低一点,但大模型总有一天会训练出来,推理却永无止境,比如ChatGPT与我们对话就是推理的过程,从算力总需求上来看,推理可能甚至要高过训练。

算力的高低最直观的影响就是速度,谁也不想训练一个模型要耗上个把年,等AI回答个问题,等到人老珠黄。在这个内卷的时代,谁快,谁就有饭吃。

有研究机构测算,以GPT-4为例,为满足最高 75352 PFlop/s-day的算力,在5 PFlop/s-day的计算速度下,20天完成,需要采购754台浪潮NF5688M6服务器(2 CPU + 8 GPU),缩短至15天,就要1005台,缩短至5天完成,就要多达3015台!

浪潮NF5688M6搭载了两颗intel ice lake处理器,8颗英伟达A800GPU,京东售价约105万,按照CPU约5.3万/颗,GPU约10.4万元/颗计算,CPU和GPU的价值量占比为10.10%和79.24%。

AI服务器价格涨近20倍!带火哪些芯片?

说白了,玩家为了大模型的运算效率,得加钱,氪金充值。

放在整机上,GPU的成本还是遥遥领先,无人能敌。普通服务器和AI服务器的BOM表显示,AI服务器单机平均售价(ASP)比普通服务器要高出5倍,AI服务器对AI芯片如英伟达的A100需求大,而普通服务器甚至都不需要用到专业的AI芯片。

普通服务器最贵的CPU,单机ASP 14400美元,不到AI服务器中GPU 96000美元的四分之一,而普通服务器40000美元的单机总成本ASP,也不及AI服务器GPU这一项成本的一半。讲个笑话,一台普通服务器,都换不到八路AI服务器里的8个英伟达A100。

这就是AI服务器容易价格疯涨的原因,背后成本占比高,单价昂贵的英伟达A100等GPU几乎成了决定性因素。

AI服务器价格涨近20倍!带火哪些芯片?

来源:中金点睛

挖矿潮过去后,英伟达显然嗅到了生成式AI热潮的铜臭味。有业内人士表态,早在去年6月开始,英伟达就已经宣布上调A100价格,涨幅在20%左右,由于美国禁令,英伟达特供中国的A800版本在ChatGPT爆火之前已经出现了涨价,导致市场上出现了众多炒货行为。

虽然国内有华为、百度、阿里等自研的AI芯片,也有部分服务器厂商使用这些芯片,但整个AI服务器市场,英伟达还是独占鳌头的那个,所以英伟达就成了AI服务器这条涨价线的源头。

ChatGPT的大火,导致英伟达高端GPU价格一路上涨。有代理商透露,英伟达A100价格从去年12月开始上涨,截至今年4月上半月,5个月价格累计涨幅达到37.5%;同期A800价格累计涨幅达20.0%。

GPU的持续缺货,进一步影响AI服务器厂商的出货,连带着下游云服务厂商,AI企业都要受到影响。今年以来,AI服务器价格大涨的消息不绝于耳。

英伟达也向台积电追加订单,但GPU需要的先进制程产能毕竟有限,因此交货周期还是没有幸免拉长,之前拿货周期大约为一个月,现在基本都需要三个月或更长。甚至,部分新订单“可能要到12月才能交付”。

一些云服务厂商开始缩衣减食,严格限制内部对GPU的使用量。有厂商表示,“后悔买少了。”颇有种汽车缺芯时那种差之一“芯”,失之万台的感觉。

03 AI服务器,还带动了哪些芯片需求?

无论GPU如何带动AI服务器涨价,本质上是AI市场需求的体现,就像前两年汽车缺芯一样。这种需求的出现往往伴随的不只是一种芯片的激增。

中金测算,AI服务器核心组件按价值量由高到低依次为GPU、DRAM、SSD、CPU、网卡、PCB、高速互联芯片和散热模组等,按7.5万台训练型和17.5万台推理型服务器测算,对应市场规模分别为240亿美元、88亿美元、48亿美元、34亿美元、5亿美元、3亿美元、2.5亿美元和1.5亿美元。

AI服务器价格涨近20倍!带火哪些芯片?

来源:中金点睛

而除了GPU、存储这两个价值量提升比较大的芯片外,接口、网卡、散热、PCB等的价值量都有提升。相较普通双路服务器,AI服务器核心器件单机价值量提升倍数由高到低依次为GPU(24x)、DRAM(5.3x)、板内互联接口芯片(3.3x)、电源管理(3x)、散热(3x)、PCB(2.4x)、网卡(2.2x)和SSD(2x)。

排在GPU之后,存储芯片,貌似第一个活过来了。

存储芯片(成本占比近30%)

据Open AI测算,2012年以来全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍,远超摩尔定律的增长速度,GPT-3相较GPT-2在数据存储端从百G提升至40T,在存储量上有约100倍的提升。

数据中心成为存储增长的重要引擎。TrendForce 最近将32GB DDR5 DRAM的Q2平均固定交易价格预估值从75美元调升至80-90美元。分析师指出,应用于AI服务器的128GB DDR5比64GB DDR4贵上10倍,订单仍持续涌进。

美光的数据显示,一台AI服务器DRAM使用量是普通服务器的8倍,NAND是普通服务器的3倍。此外,HBM(高带宽内存)也逐步提高在中高端GPU中的渗透率,自2021年以来在数据中心应用中快速增长,2023年2月以来,HBM3规格DRAM价格上涨。TrendForce预测,2023-2025年HBM市场CAGR有望成长至40%-46%以上。

根据美光测算,数据中心整体存储需求约占存储总市场的31%,2021年数据中心DRAM和NAND分别约300亿美元和200亿美元,预计到2025年分别增长至500亿美元和300亿美元,预计到2030年分别增长至1000亿美元和700亿美元,2021年~2025年合计CAGR为14%。随着数据量的大规模增长,存储设备在数据中心采购的BOM中占比进一步提升,美光曾提及,目前存储芯片在数据中心采购中比例约为40%,未来预计将提升至50%。

CPU(成本占比7%)

x86、ARM、RISC-V是CPU的三大技术架构,在服务器市场,x86处理器市占率超90%处于主导地位,而英特尔是CPU市场,特别是服务器领域是绝对的领导者。

Mercury Research最新公布的统计数据显示,2023年第一季度,英特尔继续在台式 PC、移动和数据中心CPU市场占据主导地位,在整个X86数据中心市场,英特尔市场份额为74.2%,AMD市场份额为25.8%。

服务器用的CPU从制程工艺上而言可能都落后于个人电脑用的一代,但售价往往是其10倍以上。但两者逻辑不同,服务器讲究后台运算,它看重功耗和稳定性,以此通过更多的核心数,更大的缓存来提高算力,而个人电脑强调影音娱乐体验,频率要求高。

接口芯片(3.3倍的价值量提升)

AI服务器价格涨近20倍!带火哪些芯片?

AI服务器价格涨近20倍!带火哪些芯片?

PCIe 开关或 PCIe 交换机,主要作用是实现 PCIe 设备互联,PCIe Switch 芯片与其设备的通信协议都是 PCIe。根据 QYResearch(恒州博智)的统计及预测,2021 年全球 PCIe 芯片市场销售额达到了 7.9 亿美元,预计 2028 年将达到 18 亿美元,年复合增长率(CAGR)为 11.9%。博通、微芯科技和祥硕科技为领域龙头。目前全球仅少数几家公司具备 PCIe Switch 芯片技术,核心厂商主要包括博通、微芯科技和祥硕科技三家,共占有全球约 58%的份额。

数模信号混合芯片,Retimer,功能主要为重新生成信号。在 AI 服务器中,GPU 与 CPU 连接时至少需要一颗 Retimer 芯片来保证信号质量。很多 AI 服务器都会配置多颗 Retimer 芯片,例如 Astera Labs在 AI 加速器中配置了 4 颗 Retimer 芯片。目前谱瑞、Astera labs、澜起科技是 PCIe Retimer 蓝海市场中的三家主要厂商,占据领先地位。

高速串行接口芯片,针对AI服务器中PCIe带宽限制对于GPU间通信带来的阻碍,以 NVIDIA NVLink 为代表的高速接口芯片应运而生。全球各大芯片厂商均在关注高速接口的相关技术,除了NVIDIA的 NVLink 之外,AMD 的 Infinity Fapic 和 Intel 的 CXL(Compute Express Link)等也为服务器内部的高速串联提供了解决方案。

AI服务器价格涨近20倍!带火哪些芯片?

来源:方正证券

内存接口芯片,按功能分为两类,分别是寄存缓冲器(RCD)以及数据缓冲器(DB)。内存接口芯片是技术密集型行业,需要通过 CPU、内存和 OEM 厂商的全方位严格验证后,方可进行大规模使用,新的玩家很难介入。在 DDR5 世代,全球只有三家供应商可提供 DDR5 第一子代的量产产品,分别是澜起科技、瑞萨电子(IDT)和 Rambus。

电源模块相关芯片(PMIC芯片,3倍的价值量提升)

AI服务器价格涨近20倍!带火哪些芯片?

服务器内部主要使用模块化的开关电源,具有体积孝功率密度高、转换效率高和噪声低等优势。中金预计全球服务器电源模块的市场规模约150亿元。全球主流电源厂商包括台达电子、艾默生和光宝科技等,国内中国长城规模领先。截至目前,我国模块电源商有上百家,格局分散,CR10小于60%。

参考资料:

[1]到底什么是AI服务器:世间本无AI服务器,胡克

[2]AI浪潮之巅系列:服务器,算力发动机,中金点睛

[3]行业深度:AI服务器中到底需要多少PCB,国金电子

赞助本站

相关内容
AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港