英伟达宣布推出 Groq 3 LPU 推理芯片

Rubin 平台现在包含一款新的芯片 —— 英伟达 Groq 3 LPU，这是一款推理加速器，能够增强这些系统以低延迟、大批量的方式交付令牌的能力，从而在人工智能模型的前沿实现高交互性 … 反过来，英伟达将构建包含 256 个 Groq 3 LPU 的 Groq 3 LPX 机架 … 英伟达将 Groq LPX 设想为 Rubin 的协处理器，据英伟达超大规模副总裁 Ian Buck 称，它将提升「每个令牌上 AI 模型每一层」的解码性能，并使 Rubin 能够服务于人工智能的下一个前沿领域：多智能体系统，这些系统需要在推理数万亿个参数的模型的同时，在数百万个 token 的上下文窗口中提供交互式性能。