评测 28 种 Agent 组合 最高任务解决率仅 14%

针对长期演进的大型软件系统，现有代码 Agent 虽能熟练调用工具、修改文件、运行测试，但从新需求出发交付完整功能仍存在明显短板。复旦大学等机构研究者推出 LoLBench 评测基准，将 Agent 置于平均约 240 万行代码的大型软件系统中，评估其从功能提案到模块交付的完整长程代码任务能力，这类任务同时包含感知复杂性（识别需求隐含约束、跨模块依赖，推导修改范围与实现规范）和实现复杂性（完成跨文件正确修改、避免破坏原有功能）。该评测覆盖 29 个系统、8 种语言、5 个领域的 100 项任务，通过新增功能测试与回归测试结合的方式验证交付正确性，还通过构造错误实现变异体优化了测试检出率。对 28 种前沿 Agent 组合的实验显示，当前 Agent 最高任务解决率仅 14%，大量交互与 Token 消耗集中在代码定位环节，代码定位准确率低、覆盖不全。即便额外提供修改文件树与 API 实现规范降低感知负担，最佳组合的任务解决率也仅提升至 34%，仍有 66% 的任务无法完成，暴露出 Agent 易遗漏跨模块同步改动的关键断点。该评测旨在推动代码 Agent 能力从单纯代码生成向支持大型软件持续演进的方向发展。