记者 肖余林
12 月 7 日,AMD 在加利福尼亚州圣何塞举行 Advancing AI 发布会,推出了 AI GPU 加速器 Instinct MI300X 和全球首款数据中心 APU Instinct MI300A。两款产品采用了 3.5D 封装技术,为急缺算力的生成式 AI 和 HPC 市场提供了新的动力来源。
\AMD 的 MI300X 是一款与英伟达 H100 对标的算力产品,在训练任务上与 H100 性能相当,但在推理任务中表现更好。另外,虽然 MI300X 参数上不如英伟达最新产品 H200,但由于 H200 的出货时间在明年二季度,因此 MI300X 仍被认为是对当前算力市场的有力补充。
AMD 没有透露新品的定价,但 CEO 苏姿丰声称比市场上的其它产品有更高的性价比,目前已向众多 OEM 合作伙伴发货。
微软首席技术官 Kevin Scott 作为发布会的演讲嘉宾宣布,MI300X 已经部署到 Azure 当中,Azure ND MI300X 虚拟机现已推出预览版。 Meta 还宣布将在其数据中心部署 MI300 处理器。还有报道称,甲骨文的云计算部门也计划使用这些芯片。
此前,AMD 预计 AI 芯片将在新财季带来 4 亿美元增收,收入在明年将超过 20 亿美元。作为对比,英伟达的数据中心硬件在最新财季的收入为 145 亿美元,高于去年同期的 38 亿美元。
AMD 今年 8 月预测,AI 芯片行业规模将达到 1500 亿元,这次发布会上,苏姿丰称四年内的规模将达到 4000 亿美元。
MI300X 加速器和 MI300A NPU
Instinct MI300X 是 AMD 最小芯片设计的顶峰,混合键合了 8 个 12 层 HBM3 内存,从而实现了高达 192GB 的 HBM3 内存容量。一台服务器最多可组合八个 MI300X,使得 HBM3 内存膨胀到1.5TB。
得益于此, MI300X 组合可以容纳比 H100 组合多两倍的 30B 参数训练模型和 70B 参数推理模型。此外,MI300X 平台最多可支持 70B 训练和 290B 参数推理模型。
综合来看,MI300X 内存是英伟达 H100 的 2.4 倍,内存带宽是 1.6 倍,FP8/16 TFLOPS 算力是 1.3 倍。
Instinct MI300X 的优势在于推理,AMD 给出了与 H100 基准测试的对比。在使用 Llama 2 70B 模型的单卡推理测试中,MI300X 比 H100 高出 20% 的性能,8x 组合测试中性能高出 40%。使用更高参数的 Bloom 176B 模型,8x 组合的 MI300X 表现出内存优势,性能高出 60%。
另一款产品是 AMD Instinct MI300A,这是首个数据中心 APU,与 Nvidia 的 Grace Hopper Superchips 竞争。不同之处在于,它将 CPU 和 GPU 放在同一个封装中,后者是两个独立封装。
MI300A 已经应用在惠普 El Capitan 超级计算机中,AMD 表示正在给其合作伙伴发货。
终端 AI 性能增强
AMD 还发布了面向消费者的 Ryzen 8040 系列移动处理器,新产品为终端的笔记本产品强化了 AI 性能。AMD 表示,8040 系列的 AI 处理性能是之前型号的 1.6 倍,并集成了升级的 XDNA NPU。
配合 Ryzen AI 软件平台,开发人员能够在 Ryzen 驱动的笔记本电脑上构建 AI 模型,将模型装载到专用的 NPU 中,从而降低 CPU 的功耗。
这次发布会后,AMD、英伟达和英特尔已经在 AI 芯片上形成了角逐攻势,英伟达凭借 H100 GPU 占据了最大的市场份额。根据 Omdia Research 的数据,2023 年第三季度,H100 GPU 共出货 50 万块,Meta 与微软各自购买 15 万块,谷歌、亚马逊、甲骨文,以及国内多家公司分别购买 5 万块。