芝能智芯出品
在当前数据中心 GPU 加速器的发展中，HBM
（High Bandwidth Memory）内存的角色变得愈发重要，特别是对于AI训练任务。
英伟达在2024财年结束时，现金和银行投资略低于260亿美元。这使得Nvidia在2024年继续增长的情况下，收入有望突破1000亿美元，其中约50%以上将以净利润的形式体现出来。财大气粗的英伟达这能够轻松购买昂贵的HBM内存，这是数据中心级GPU所需的核心关键组件。
Part 1
HBM供应紧张，价格攀升
在当前推动英伟达数据中心GPU加速器发展的诸多因素中，最重要的因素并非即将推出的“Blackwell” B100架构，也不是英伟达是否能从台积电取回数百万颗H100和B100 GPU芯片。最关键的因素是金钱，财务状况和资本投入是推动业务发展的决定性因素。
截至2024年1月，Nvidia现金和银行投资略低于260亿美元，且预计本财年的收入将突破1000亿美元，这些资金的主要用途将是为数据中心级GPU购买HBM堆栈DRAM内存所需的费用。
HBM内存的需求和供应情况对GPU加速器业务至关重要。
HBM内存的改进速度在提升，但其供应仍可能无法满足需求，导致HBM内存价格继续攀升。
随着美光科技加入供应商行列，供应量有所改善，但仍然不足以满足需求。这导致HBM内存的价格持续攀升，成为影响GPU加速器价格的重要因素。
在HBM3E市场上，SK Hynix、Micron Technology和三星都展示了其最新的产品。SK Hynix展示了16高HBM3E堆栈，提供48 GB容量和1.25 TB/秒的带宽。Micron Technology宣布开始生产其首款HBM3E内存，具有24 GB容量。而三星推出了Shinebolt HBM3E，提供36 GB堆栈和1.25 TB/秒的带宽。这些产品的推出将进一步推动HBM内存的发展。
HBM4的发布可能需要等到2025年，但目前的HBM3E技术已经在提供更大的容量和更高的带宽。
这使得HBM内存在AI训练领域的应用更加广泛，购买力将直接影响他们在数据中心GPU市场的控制权。在这场技术竞赛中，拥有HBM内存的人将更容易制定规则，掌握AI训练的关键。
Part 2
竞争对手的情况
AMD的现金和投资仅为57.8亿美元，不太可能在HBM内存上投入巨额资金。虽然英特尔有更多的闲置资金，但代工厂的建设非常昂贵，使其无法挥霍在HBM内存上。这使得英伟达在竞争中具备更大的优势。
英伟达GPU加速器业务受益于客户在GenAI繁荣时期愿意为大量数据中心GPU支付高昂费用。原始Hopper H100 GPU的价格已经超过30000美元，而新的H200 GPU有望在价格上进一步增长。这进一步巩固了Nvidia在市场上的地位。
AMD也在努力反击，推出了Antares Instinct MI300X GPU加速器，
具有更高的HBM3容量和带宽，有望通过对MI300X的高收费来保持竞争力，并甚至有可能升级到更先进的HBM3E内存，以保持对Nvidia的竞争。
小结
HBM内存的发展将在一定程度上决定GPU加速器的性能和价格。在当前的市场环境下，Nvidia凭借财务实力和对高价购买HBM内存的能力，能够在AI训练领域占据主导地位。
随着技术的不断进步和市场的竞争，未来GPU加速器和HBM内存的发展将是一个备受关注的领域。
