llama.cpp 与 ggml 双双迈入 1.0.0,本地大模型推理库迎来稳定新阶段
1 小时前
支撑本地大语言模型运行的核心项目 llama.cpp 及其底层张量库 ggml 正式同步发布 1.0.0 版本。llama.cpp 主打让大模型脱离云端依赖直接在本地设备运行,兼顾本地部署与云端推理场景,核心目标是降低部署难度、最大化释放设备算力。ggml 作为底层机器学习张量库,可通过专用后端对接不同硬件平台,实现跨硬件灵活适配。此次 1.0.0 版本明确划定兼容性边界,落地语义化版本规则,让下游开发者可清晰判断升级是否需要调整自身应用。团队还将从扩充持续集成设施、完善跨硬件自托管测试、适度引入大模型辅助开发三方面保障工程质量,目前 llama.cpp 已支持超 150 种模型架构变体,后续将继续扩大跨平台测试覆盖范围。
本地推理引擎 llama.cpp 1.0.0 史诗级更新:支持超 150 种模型架构,断网也能满血跑大模型
maomu.com / IT 之家
llama.cpp 与 ggml 双双迈入 1.0.0,本地大模型推理库迎来稳定新阶段
ITBear 科技资讯
2025-08-07
摩尔线程 MUSA 架构成功适配开源推理框架 llama.cpp体验专业版特色功能,拓展更丰富、更全面的相关内容。