英伟达提出 AI 内存全栈协同设计方案，Vera Rubin 平台推理吞吐量最高提 30 倍

英伟达指出受 AI 模型规模扩大等因素影响，GPU 内存压力持续上升，HBM 供应趋紧、价格上涨，提出通过 GPU、CPU、网络、存储及软件协同设计提升内存使用效率，而非单纯增加 GPU 内存容量，具体可通过低精度格式压缩模型权重和 KV Cache、转移不活跃上下文至低成本存储层、多 GPU 分布式部署等方式释放 HBM 空间。测试数据显示，GB300 NVL72 特定工作负载下单位成本推理吞吐量最高为 H200 平台的 10 倍，Vera Rubin NVL72 相较 GB300 NVL72 单位成本推理吞吐量最高提升 30 倍，单 GPU HBM 容量仅增加约 3%。