普林斯顿 AI Lab 推出 SSoN 基准 人类准确率 83.3% 大模型最高仅 39.7%
4 小时前
普林斯顿大学 AI Lab 团队推出全新空间智能基准测试 SSoN,该测试剥离动态交互与动作控制干扰,专门检验 AI 在静态跨视角下的三维空间理解能力,要求模型从四张同场景室内图中找出不属于该场景的异常图。测试结果显示人类准确率达 83.3%,主流视觉语言模型最高仅 39.7%,多数表现低于四选一随机基线,暴露出当前 AI 在空间几何推理上的核心短板,具体存在空间变换相关推理能力弱、部分答对的题目推理解释逻辑不成立、未建立稳定三维空间直觉三大痛点。后续干预实验表明,文字提示引导或引入传统三维重建流程仅能小幅提升模型成绩,提供真实相机参数可大幅改善表现但仍未达到半数以上题目的可靠答对率,针对该任务开展定向监督微调可让模型在全新房间测试题上的准确率近乎翻倍。SSoN 基准直指当前 AI 三维空间跨视角整合的核心缺口,为后续空间智能技术迭代指明了方向。
普林斯顿 AI Lab 推出 SSoN 基准,人类准确率 83.3% 而大模型最高仅 39.7%
ITBear 科技资讯/maomu.com/aibase
体验专业版特色功能,拓展更丰富、更全面的相关内容。