不靠外部裁判,统一多模态模型学会自己「看图改图」:修复成功率提升到 3 倍,GenEval 0.72→0.84
16 分钟前
南洋理工大学、上海交通大学、东京大学的研究者提出 UMM-Reflection 方法,在开源统一多模态模型 BAGEL 上通过「反思 SFT 冷启动 + 整轨迹强化学习」训练完整的多轮「反思 — 修改」轨迹,让同一模型自主完成看图、诊断、修改与停止决策,推理无需外部打分器。该方法将初始错误图像的修复成功率从 20.6% 提升至 64.9%,GenEval 指标从 0.72 升至 0.84,其中空间位置分项从 0.47 跃升至 0.89,在训练未见过的 WISE 等基准上也有明显提升,效果远优于直接对生成器做强化学习。研究证实模型本身本就具备判断图像对错的能力,强化学习的作用是教会模型筛选出真正能将错误图像修正为正确结果的有效修改路径,目前相关代码、模型与训练数据均已开源。
体验专业版特色功能,拓展更丰富、更全面的相关内容。