国产 GPU 助力,摩尔线程实现对 DeepSeek 蒸馏模型推理服务部署
上周二

摩尔线程智能科技宣布成功部署 DeepSeek 蒸馏模型推理服务,通过 DeepSeek 提供的蒸馏模型,将大规模模型能力迁移至更小、更高效的版本,并在国产 GPU 上实现高性能推理。基于 Ollama 开源框架,摩尔线程完成了 DeepSeek-R1-Distill-Qwen-7B 蒸馏模型的部署,并在多种中文任务中展现了优异性能。此外,摩尔线程自主研发的高性能推理引擎结合软硬件协同优化技术,显著提升了模型的计算效率和资源利用率,为未来更多大规模模型的部署提供了技术保障。用户还可以基于 MTT S80MTT S4000 进行 DeepSeek-R1 蒸馏模型的推理部署。

专业版功能专业版功能
登录
体验专业版特色功能,拓展更丰富、更全面的相关内容。

行业标签

logo
科技新闻,每天 3 分钟