苹果发表论文：在手机内存上运行大模型

苹果发布了一篇论文，介绍了一种在超出可用 DRAM 容量的设备上运行大语言模型（LLM）的方法。通过提高内存使用效率，该方法能使有限容量的设备运行内存大小翻倍，同时 GPU 的推理速度提升数十倍。这项突破性研究有望加速苹果将生成式 AI 集成到 iOS 18 的计划。