英伟达等机构发布 Realtime-Bench,前沿大模型实时任务表现不佳
3 小时前
英伟达与 UT-Austin 等机构联合推出实时交互任务基准 Realtime-Bench,该基准包含 50 个覆盖八类场景的任务,核心考察模型的实时感知、时间自适应推理、行动时机把握三类能力,设置三种不同的环境推进时钟协议区分不同因素对表现的影响。研究人员用该基准测试了 12 款前沿大模型,结果显示在按真实推理耗时推进环境的场景下,表现最优的 GPT-6-Astra 任务成功率仅为 44%,高推理强度下的三次全成功概率仅 36%,多数模型难以兼顾低延迟与推理能力。实验还发现实时任务中提升推理强度未必能提高成功率,模型需要在思考深度和行动时机之间做好权衡,单纯缩短推理延迟也不足以解决全部实时交互难题。
体验专业版特色功能,拓展更丰富、更全面的相关内容。