罗福莉官宣小米 MiMo-V3 将采用全新架构 核心 HySparse 2 发布

小米 MiMo 大模型负责人罗福莉宣布 MiMo-V3 即将采用全新架构，其核心 HySparse 2 正式发布，可实现更少的预填充、更小的 KV 缓存、更出色的长上下文检索，在 1M Token 长度下预填充计算量降低 5.02 倍、KV 缓存缩小 4.5 倍，同时 MRCRv2 和 RULER-v2 评分更高，AgentPPL 和 LongPPL 更低。该架构针对智能体推理工作负载特性设计，包含 KV 桥接、KV 重用等核心机制，另有 Token 级别选择替代块级选择、用近期 Token 强制窗口替代独立 SWA 分支两项改进，可让本地和全局 Token 共享同一个 KV 缓存，预填充在自解码器完成时即可停止。此前小米刚发布并开源 MiMo-V2.6 系列原生全模态模型，这是其探索递归自我改进路径的关键一步。