提速不降智，小红书 DoSA 将首 token 延迟减半

小红书 Dots 团队自研 DoSA 稀疏注意力方案，利用分数上下界在完全保留原始 Top-K 选择结果的前提下加速长上下文推理中的索引器瓶颈，可提前过滤约 97% 的候选 token。该方案通过构造入选阈值下界与候选分数上界筛除不可能进入 Top-K 的候选，仅对剩余候选做全索引头精确打分，同时优化 GPU 执行流程规避零散计算开销。测试显示在约 1M token 上下文长度下，Dots3-Note-preview、GLM-5.2 和 DeepSeek-V3.2 的首 token 延迟较各自 SGLang 基线分别降低约 37%、46% 和 48%，Indexer 本身的加速效果显著优于现有同类方案。