Readhub

DeepSeek 沉寂许久后有新动作，更新了 DeepGEMM 代码库，出现了新东西 Mega MoE。Mega MoE 项目贡献者来自 DeepSeek 基础设施团队。它将原本支离破碎的 MoE 计算流程整合到一个 mega-kernel 里，让数据通信和计算同时发生，提高了 GPU 利用率，尤其在多卡、大规模 MoE 场景下优势明显。DeepSeek 还尝试组合精度、搞 FP4 的 indexer 等，往提升 MoE 效率的方向死磕。Mega MoE 还在开发中，性能数据之后公布。此次更新是一次基础设施层的重构尝试，将 MoE 往可大规模、高效率运行的方向推进，Mega MoE 可能是第一块拼图，也可能暗示 DeepSeek 使用英伟达最新顶级 B 系列训练卡。