英伟达破局 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍

英伟达指出大模型相关应用快速增长下 GPU 显存压力陡增，HBM 供应趋紧涨价态势将持续，为此其推出全栈协同设计理念，将 GPU、CPU、网络、存储和软件作为整体协同优化，通过低精度格式压缩数据、跨 GPU 分散放置权重、用 CPU 内存缓冲上下文、推理软件迁移不活跃上下文、RAG 索引下放至 CPU 与存储侧等方式，破解 AI 内存瓶颈，相关测试显示新平台在 HBM 容量仅小幅提升的情况下，智能体吞吐量较前代平台大幅提升，AI 算力竞争的关键已转向每字节、每瓦特能产出的有效 token 量。