百度开源文心 5.5 Flash Base，多基准测试刷新同尺寸模型 SOTA

百度正式开源采用 MoE 架构的最新基座模型文心 5.5 Flash Base，总参数量 2800 亿，每个 Token 激活 140 亿参数，以 33.5 万亿 Token 完成预训练，预训练上下文最高达 128K，微调与推理阶段支持最长 100 万 Token 上下文，在多类基准测试中取得同尺寸模型 SOTA 表现。该模型围绕效率主线，在注意力机制、专家路由及训练机制等关键环节做系统性优化与多项算法创新，同时优化分布式 Muon 优化器、推出面向大 head dim 的注意力算子 FlashMask-4，提升大规模训练的通信、显存利用与计算效率。作为面向开发者和企业的基座模型，它可提供微调与定制空间，助力构建不同场景的专业模型与应用，降低相关开发的训练成本与技术门槛，为行业提供更具拓展性的技术基础，推动大模型技术的能力探索与应用创新。