字节开源 MoE 模型架构优化技术：效率提高 1.7 倍，训练成本节省 40%

字节跳动开源 MoE 架构优化技术，提升大模型训练效率 1.7 倍，节省成本 40%，已在万卡集群训练中节省数百万 GPU 小时算力。