研究发现 Coding Agent 生成测试质量被高估，合格率不足单一评测一半

针对当前主流测试生成基准采用单一参考评测易高估测试质量的问题，南京大学刘佳恒团队提出新基准 TestPrism，含 300 个测试任务与 3000 个带标签的多样候选实现，以要求测试同时满足在原始代码上失败、接受所有正确实现、拒绝所有错误实现的 JSF 为核心指标。评测发现前沿 Coding Agent 的测试真实可靠性远低于单一参考评测结果，最强配置 JSF 仅 28.00%，团队进一步归纳出 3 大类 7 种测试生成错误机制，并提出 TestHelix 框架，通过异构合成、同伴交叉验证与递归自我改进，在同等推理预算下将 JSF 提升 11.67 至 12.00 个百分点，为更可靠的测试生成与评测提供了新思路。