面壁智能发布 LES 技术 助 35B 级开源 MoE 模型端侧流畅运行
4 小时前
面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,包含 35B-A3B 和 1B 两个版本。其中 35B-A3B 采用 MoE 架构,总参数量 350 亿,单次推理仅激活约 30 亿参数,是首个可在端侧无损流畅运行的开源 MoE 模型,依托自研 LES 前瞻专家调度技术等优化方案,仅需约 3GB 运行内存即可在 iPad Pro 上实现每秒 15 个以上 Token 的解码速度,推理速度较传统方式提升约 5 倍。1B 轻量版本进一步降低端侧部署门槛,面向更多配置有限的设备。该模型已支持 iOS、安卓、鸿蒙系统,适配多类芯片平台并开放端侧适配代码。面壁智能联合开源社区推出的 MiniCPM 系列开源模型全球累计下载量已突破 6000 万次。此次突破反映端侧大模型技术路线正发生变化,数百亿参数模型开始尝试进入移动终端,不过从模型跑通到落地普通消费级手机仍需解决功耗发热、多平台适配、体验价值验证等问题,未来端侧大模型有望承载更复杂的多模态理解和智能体任务,减少对云端的依赖。
面壁智能端侧多模态 MiniCPM-V 4.7 发布:3GB 内存跑出 13+ token / s
aibase/maomu.com/ITBear 科技资讯
35B 开源模型流畅跑上手机,面壁智能祭出 LES 提速
华尔街见闻 / maomu.com
面壁智能发布新一代端侧多模态大模型 MiniCPM-V 4.7,仅 3GB 内存可实现 13+ token / s 解码速度
IT 之家 / maomu.com
体验专业版特色功能,拓展更丰富、更全面的相关内容。