字节找到了 DeepSeek 时强时弱的原因

字节 Seed 团队发现 DeepSeek-V4 系列模型存在表现随输入信息位置以 4 个 Token 为周期周期性波动的现象，在 128K 长上下文检索测试中不同位置的准确率最大可拉开 40.2 个百分点。该现象源于 DeepSeek-V4 采用的分块 KV Cache 压缩技术，模型对压缩窗口内不同相位的信息检索能力存在系统性差异，即相位敏感性，是分块压缩设计本身可能引入的周期性检索弱点，后续的后训练和架构迭代可明显缩小这种性能差距，但周期性差异仍会残留。团队通过对照实验验证了该结论，并提出评估采用分块 KV Cache 压缩的模型时，需将信息放在不同压缩相位上分别测试，不能仅参考整体平均准确率。