浙大 & 北大团队提出 SPADER：用 step-wise GRPO 与多样性感知奖励驱动多答案问答长尾探索

浙大与北大团队提出收录于 EMNLP 2026 的多答案问答强化学习框架 SPADER，针对现有 RL 方法存在的轨迹级优势计算导致信用分配粗糙、F1 奖励对头部与长尾实体一视同仁缺乏长尾探索动力的错位问题，将 GRPO 的轨迹级优势细化为无需参数化价值网络与外部评估器的步骤级同伴优势实现细粒度信用分配，同时设计由横向信息增益、纵向新颖度溢价组成的双轴多样性感知探索奖励，搭配工具成本与终端作答奖励，激励智能体挖掘长尾答案、自主判断搜索与终止时机。该框架在两种基座模型、四个多答案问答基准上全面提升召回与 F1 指标，未靠堆砌搜索次数换取更高覆盖，可引导智能体持续挖掘有效实体直至目标耗尽，相关代码与模型均已开源。