苹果英伟达推动大参数端侧部署 AI PC 迈入千亿参数时代
3 小时前
此前受硬件限制端侧难以运行大模型,如今英伟达 RTX Spark、苹果 Mac Studio 分别实现了 1200 亿参数、近万亿参数大模型的端侧部署,标志着个人 AI PC 正式迈入千亿参数时代。二者依托 MoE 架构搭配高带宽统一内存的技术路径,通过不同产品路线落地端侧大模型,可帮助用户降低云端推理成本、规避敏感数据外传风险,适配专业开发者、重度创作者等群体的生产力需求,当前这类产品价格仍较高,后续随着统一内存技术推进成本有望逐步下降。
近万亿参数大模型跑进桌面,苹果和英伟达一起掀了 AI PC 的桌
maomu.com/36Kr/雷科技
体验专业版特色功能,拓展更丰富、更全面的相关内容。