WebCraftBench：给 AI 生成的网页来一场「实测大考」

腾讯混元团队联合清北研究者提出 WebCraftBench，将软件测试方法引入 AI 网页生成评测，让智能体实际操作网页，以代码覆盖率查漏，从美观度、易用性、需求符合度三维度打分。该评测基于 369 条真实用户需求、5088 条验收标准，对 17 个前沿模型的 6273 个生成应用进行交互探索与评分，在 197 组复核应用对比中，与人类偏好判断一致率达 85.3%。其核心流程包括给代码插桩、智能体探索操作、整理操作记录为状态转移图、分维度评分。测评发现，无模型包揽三项维度第一，美观度与易用性在单应用层面相关性低，分差越大与人类偏好一致率越高，更换评分裁判整体排名仍稳定，覆盖率反馈能提升探索覆盖度。此外还指出网页生成评测需沿用户操作路径展开、关注探索覆盖情况、分离探索与评分、理性看待榜单等关键洞察。