Intelligence Index v5 基准上线 DeepSeek V4.1 Flash 获 FrontierCode 2.0 已发布开源模型最高分
1 小时前
Intelligence Index v5 完成自 2026 年 1 月 v4 上线以来最大幅度基准重构,首次将 60% 评测权重建立在私有测试集或隐藏答案上,压缩公开题库被训练数据污染的空间,减少跑分注水项目。该指数仍由九项评测构成,其中编码部分 25% 权重里,新纳入的 FrontierCode 2.0 占 15%,Terminal-Bench 4.0 占 10%。FrontierCode 2.0 全部任务来自真实开源仓库,以仓库维护者是否愿意合并提交的 PR 为核心评分逻辑,将编码能力评价的核心从「可运行性」转向「可合并性」。已发布权重模型中,DeepSeek V4.1-Flash 1017(max)以 28% 的成绩位列 FrontierCode 2.0 单项第一,但其 Intelligence Index v5 综合得分为 32 分,与 GLM-5.3 持平,落后榜首 Claude Opus 5.5 的 58 分。v5 大幅拉大了开源与闭源前沿模型的整体能力差距,最强开源模型与榜首的差距从 v4.3 的 3 分扩大到 12 分,已发布权重模型的综合得分天花板为 32 分。v5 还放大了不同思考等级档位的表现差距,同一模型在省钱模式和全力模式下的表现差异极大,头部模型单任务成本最高相差超 13 倍。同步推出的 Progress Index v1 参考相关方法,将 2022 年 11 月以来的主要大语言模型映射到连续能力尺度,用于跨时间维度观察模型能力演进。本次 v5 评测中没有任何模型包揽全部项目第一,各单项优势分散程度高于总分排名的关注度。
体验专业版特色功能,拓展更丰富、更全面的相关内容。