Meta 新研究：字节级蒸馏模型或反超 Token 级蒸馏

Meta FAIR 与华盛顿大学团队提出字节级蒸馏方法，将大模型教师的 Token 概率分布转换为字节级别，让学生模型学习字节级概率分布。团队提出 Marginalize-It 和 End-Of-Token 两种转换方案，后者能更完整保留教师分布。实验显示，Token 模型前期学习更快，字节模型 Scaling 潜力更强，End-Of-Token 蒸馏方案的下游平均准确率上限比传统 Token 蒸馏高出 4 个百分点，还能显著降低数据和教师分布的存储压力，但训练计算量略高，推理成本相关比较尚未完成。