不用反向传播也能预训练 Transformer，Jeff Dean 投的公司出相关成果

Q Labs 提出名为 Dust 的零阶优化方法，无需反向传播即可完成 Transformer 预训练。该方法将传统进化策略的权重扰动转移到激活空间，为每个 token 独立添加高斯噪声构建虚拟种群，通过一次前向传播并行评估大量虚拟个体，结合带衰减系数的信用分配机制估计梯度，在 2.43 亿参数规模以下的实验中表现优于同类零阶方法，大规模群种下可近似甚至在部分设定下超越反向传播。不过目前 Dust 计算成本远高于反向传播，仅在小规模实验中得到验证，第三方复现显示在常规训练条件下反向传播仍明显领先。该研究团队以探索算力高效利用、突破反向传播的可微性限制为方向，后续相关社区优化已实现小规模基准的大幅提速，但方法向大模型、大规模训练场景的可扩展性仍待验证。