百度开源文心 5.5 Flash Base 预训练基座模型并开放权重

百度发布新一代稀疏 MoE 预训练基座模型文心 5.5 Flash Base 并开放权重，该模型总参数量 280B，每 token 激活 14B，在 33.5T tokens 上从零预训练，训练最长上下文为 128K，微调与推理阶段可外扩至 1M tokens，已联合 vLLM、SGLang 等提供开源生态支持。该模型在知识、推理、数学、代码、多语言和长上下文等多项基准测试上整体领先同级别主流基座，在注意力、MoE 路由、预训练目标等核心组件上实现多项技术创新，同时在残差连接、输出头、分词器、训练基建等方面完成多项优化。作为具备完整通用能力的 Base 模型，开发者可基于其开展领域适配、指令微调等二次开发，后续文心 5.5 Flash 正式版也将很快推出。