0Day 极速适配 华为昇腾支持 2.8 万亿参数 Kimi K3.1 Pro 部署

月之暗面发布 Kimi K3.1 Pro 完整模型权重后，华为昇腾当日即完成 0Day 推理适配可直接开展部署验证。该模型为 2.8 万亿参数的 MoE 混合专家模型，原生支持视觉理解，具备百万 token 超大上下文窗口，在代码编写、3D 创作、金融分析、长文档处理等任务上较上代有明显提升，采用混合线性注意力架构并新增稀疏注意力模块，对算子、缓存、多卡通信均有针对性调优需求。本次适配覆盖 Atlas 800 A3、Atlas 900 A3 SuperPod、昇腾 950 超节点硬件，依托 vLLM Ascend、SGLang 两套推理框架实现。昇腾团队依托此前 Kimi K3 的适配经验，提前分析模型结构完成新增稀疏注意力、多模态推理相关适配，通过分布式缓存分散缓存至多 NPU 卡减轻单卡显存压力，改造核心算子减少冗余数据拷贝与无效计算以提升硬件利用率。部署支持直接加载原生权重，也可开启分模块差异化低比特量化搭配注意力缓存量化降低显存占用、节省硬件资源，原有前缀缓存、分块预填充、投机推理等能力全部保留，开发者无需改变使用习惯即可将模型接入现有推理服务，官方已放出两套框架对应的部署文档供查阅。