阿里千问提出 TRACE，FP4 强化学习 Rollout 最高加速 5.4 倍

针对大模型强化学习中 Rollout 环节算力消耗高，将其从 BF16 压到 FP4 易因量化边界偏差放大为策略偏差导致训练崩溃的问题，阿里千问联合相关团队提出 TRACE 方法，不追求分别提升训练端与 Rollout 端的量化精度，转而通过 Rollout 侧真实 FP4 量化结果指导训练侧舍入方向，还设计紧凑缓存方案降低信息传输存储开销。在多个 MoE 模型上的实验显示，TRACE 在联合 FP4 W / A 与 FP4 KV Cache Rollout 的设置下，性能可回归 BF16 Rollout 水平，128K 输出长度下 Rollout 解码吞吐最高提升 5.4 倍，仅带来约 7.4% 的额外 RL step 开销，还能让模型在 RL 过程中逐步适应 FP4 低精度执行环境，最终 FP4 策略质量优于 BF16 RL 后再做量化的方案。