新方法 LSA 在千万 token 下较 DeepSeek 式稀疏注意力提速 22 倍
17 分钟前
当前百万 token 上下文已成为大模型标配,但上下文向千万 token 量级推进时,传统稀疏注意力方案中用于筛选相关 token 的索引器开销随长度线性增长,整体 prefill 仍呈二次方复杂度,成为超长上下文性能瓶颈。伦敦初创公司与苏黎世联邦理工学院联合提出隐空间稀疏注意力 LSA 方法,将 key 按语义聚类分组,通过扁平搜索或层次树束搜索让索引器复杂度降至次二次方。该方法支持嫁接现有模型的 D-LSA 和预训练原生使用的 N-LSA 两种落地形式,在千万 token 场景下可实现数倍至数十倍的 prefill 提速,同时保持与原模型相近精度,大幅降低超长上下文的运行耗时与索引显存占用。
千万 token 下,比 DeepSeek 式稀疏注意力再快 22 倍
机器之心/腾讯网/36Kr
体验专业版特色功能,拓展更丰富、更全面的相关内容。