SFT × RL × Agent：研究主张与证据地图
状态：持续维护中的研究证据地图（2026-10-20）。面向自己研读和形成研究判断，不是元分析、系统综述或任何算法的官方排行榜。“证据强”只指在明确的任务和条件下原始来源是否直接支持主张，不代表该算法更强。
入门先看 SFT/RL 总综述，具体实现看单篇论文；这里负责跨论文的主张核对、潜在矛盾与必要的反证实验。可执行研究设计见后训练可证伪实验议程。
1. 如何阅读下面的证据？
同样一句“RL 更好”，可能指数学题准确率、函数调用 exact match、失败后的恢复率、训练时间、旧任务遗忘率，这些不是一个量。
为了防止不同论文被强行拉到同一排行榜，采用四种审核状态：
| 状态 | 严格含义 |
|---|---|
| 原始摘要可核实 | 正式会议或 arXiv 摘要明确报告该条件下的结果；仍未逐表复核方差、消融及训练成本 |
| 理论有条件成立 | 原文在明示的模型、数据和假设下给出定理；不自动推广到真实 Agent |
| 方法机制可核实、收益待拆分 | 能确认用了哪些监督和优化组件，但不能把最终改善唯一归因到其中一个 |
| 研究假设／未证实 | 我们提出的解释、反例或迁移猜想；还没有在可比实验中得到验证 |
判断一次比较是否合法，至少要同时检查七个维度：
- 训练信息：额外人工标签、教师分布、RL 奖励、在线环境状态、真实可执行轨迹是否相同？
- 模型与初始化：Base/Instruct、多模态能力、LoRA/全参、初始成功率是否相同？
- 验证器语义：最终成功、答案准确、工具格式、轨迹对齐还是奖励模型偏好？
- 数据与任务：分布内、跨数据集、长程闭环与理论图搜索能否相比？
- 成本：总 rollout token、被拒绝样本、教师查询、环境回合、GPU-hours 与 wall time。
- 指标：绝对百分点（pp）、相对百分比、均值/最大值、pass@1/成功率/保持率分别是什么？
- 版本：arXiv 初稿、正式会议版和后续仓库更新是否使用同一组实验？
只要其中一个关键维度不匹配，就把结果作为特定条件下的发现，不要画一张“哪个方法赢”的绝对榜单。
2. 研究主张登记表
| 主张 ID | 可检验的主张 | 已有直接证据 | 当前判断 |
|---|---|---|---|
| C01 | 不做任务特定 SFT，直接 RL 也可能有效 | DeepSeek-R1/R1-Zero：预训练基座 + 可验证数学奖励 | 特定任务成立；不等于从随机权重训练 |
| C02 | SFT 在工具调用上未必输给 RL | SFT or RL for Tool-Calling Agents?：域内 15/18 设置中 LoRA-SFT 最佳；GRPO 跨域 29/54 胜出，但平均差距不足 1 pp | 摘要可核实；以作者工具调用评测设置为界 |
| C03 | 当前策略很难成功时，定向补监督可能比继续盲采样有效 | ReLIFT：ICLR 2026 六项基准平均 +6.7 pp（相对所选 RLVR 对照） | 摘要可核实；新增正确解与教师成本不能忽略 |
| C04 | 按困难状态触发监督可能减轻持续学习遗忘 | TSRL：ALFWorld、WebShop、Deep Search；旧任务能力最高多保持 9.6 pp | 预印本摘要可核实；“最多”不是平均提升 |
| C05 | 协调 SFT/RL 训练可能优于简单先后训练 | BRIDGE 与 DYPO | 机制可核实、归因待拆分；不能跨论文直接比数值 |
| C06 | 终点奖励可能提供黄金最短路径监督中缺失的回溯信息 | RLVR 回溯理论 | 理论有条件成立；条件是特定图模型、黄金最短路径、无负例 |
| C07 | 离线机器人演示对齐奖励足以提高真实闭环成功率 | 暂无本库中完成的直接因果对照；轨迹奖励研究问题 | 未证实；正确的代理分数不等于动作执行后的结果 |
注意：C01–C07 是本知识库定义的研究主张编号，不是原论文作者使用的理论定理名，也不代表证据已经完整复现。
3. 三组容易被误认为互相矛盾的结果
3.1 C01 vs C02：“直接 RL 很强”与“SFT 更好”矛盾吗？
不矛盾：R1-Zero 的重要条件是已有强预训练基础、数学解答能被验证、当前策略可以探索到可区分的成功轨迹。DeepSeek-R1展示在这种条件下无需额外的任务推理 SFT 就能提升。
相反，受控工具调用对照中，在 6 档 Qwen3 与多种标注工具调用数据条件下，LoRA-SFT 的域内最优次数为 15/18。这里任务更接近学习标准化的函数选择和参数表示。论文的 18/54 是实验设置数量，不是“15/18 的测试题答对”。
真正的问题不是“SFT 还是 RL 更先进”，而是：
- 训练集是否已给出了可靠、密集的动作监督？
- 当前策略能否在有限预算内找到正确但未标注的替代路径？
- 有终点执行反馈时，RL 是否改善历史数据未覆盖的失败状态，而不是只改善 exact match？
最有杀伤力的反例：给相同模型提供多样化 SFT 数据（包含失败恢复），如果它以更低总预算达到相同的端到端任务成功率，那么“工具 Agent 必须 RL”在这个条件下就站不住脚。
3.2 C03 vs C04：“针对困难题补监督”与“避免 SFT 遗忘”互相冲突吗？
ReLIFT关心当前模型的能力边界与探索有效性：对几乎没有成功轨迹的题目额外获得正确答案，再交替 SFT / RL。TSRL关心持续学习的旧能力保持：RL 是主干，只在判定为困难的状态使用专家监督并降低后期干预。
两者都存在一个未被“触发式方法”自动解决的问题：真实专家是否可用，触发状态是否诊断正确？ 低 Group Success Rate 可能是题目真难，也可能是解析错误、验证器噪声、工具不可达。它们各自在不同任务、模型与成本下取得结果，不能据此推断谁“永久更好”。
缺少的关键拆分实验：
- 相同教师预算：动态触发、均匀随机补监督、静态困难样本池分别如何？
- 相同总成本：教师请求与验证器/环境时间都必须算进去。
- 相同旧任务测量：报告遗忘曲线，而不只报告最后一轮最优性能。
- 触发器消融：只用失败率、只用不确定性、结合验证器可信度，是否真正区分“不会做”与“奖励错了”？
3.3 C05 vs C06：“协调梯度”与“从结果学回溯”在解决同一个问题吗？
不是。BRIDGE试图让监督梯度帮助奖励优化，算法额外维护纯 RL 辅助对照；DYPO引入 Group Alignment Loss、多教师蒸馏与动态探索/利用门控。它们首先解决的是训练信号的协调。
回溯理论则讨论训练数据里是否存在从死胡同返回的信息。理论前提是 SFT 只见过无负例的黄金最短路径；若另给 SFT 偏离状态与回退动作，比较的假设就变了。
两个正交维度应当分开：（a）模型收到什么信息；（b）收到相同信息后如何优化。 换一个更复杂的 loss 不能自动生成从未存在的失败后果；而给了恢复示范后，也不能自动证明 RLVR 没有额外优势。
4. 为什么不把论文指标直接横向排名？
| 工作 | 原始来源可核实的结论 | 精确口径 / 尚待核对 |
|---|---|---|
| ReLIFT | ICLR 2026 官方摘要：六项基准平均 +6.7 points | 相对论文所选 RLVR 方法；arXiv v1（2025-06） 与 目前的 v3 摘要仍写 +5.2 points；ICLR 会议摘要写 +6.7 points。两套数字的基线及评价设置是否一致尚需核对，不能直接假定只是版本改进 |
| BRIDGE | ICML 2026 官方摘要：多个数学推理基准平均绝对提升超过 3 points | 不是所有模型均 +3，也不是模型端到端工具成功率 |
| DYPO | ACL Findings 2026：复杂推理 4.8%、OOD 13.3% | 官方摘要用百分号；是相对改善还是百分点须查看论文完整表格与基线 |
| TSRL | arXiv:2610.17726：持续学习旧能力最高多保持 9.6 points | 不是三个基准的平均；仍需核对规模、顺序与错误条 |
| 工具调用对照 | arXiv:2609.17848：域内 15/18、跨域 29/54 | 分母是设置数量；GRPO 与 SFT 平均差距小于 1 pp，不是普适优势 |
最容易犯的错误：用 6.7、3、4.8、9.6 排序得到“ReLIFT > BRIDGE”。这些值的指标分母、测试任务、模型、教师/奖励开销均不同，排序没有科学意义。
5. 一份有用的研究结论应该包括什么？
每条主张的最小证据记录：
- Claim：一句话可证伪的断言，避免使用“全面提升”“更聪明”等不可测的词。
- Population / Setting：模型版本、任务集合、SFT 数据、动作接口、训练与验证分布。
- Intervention / Comparator：究竟改变了损失、奖励、教师、数据量还是工具？
- Outcome：准确率、成功率、失败恢复、能力保持或全成本；给出正确的统计单位。
- Evidence：原始会议/arXiv 链接及论文版本；已核实到摘要、方法或实验表的哪一层。
- Threats：额外训练信号、奖励泄漏、teacher 数据污染、预算、seed、训练/评估不一致。
- Falsifier：哪一种实际观测会推翻当前主张？
如果一个新结果只是另一张性能表，却无法回答以上几项，我不会因此把这份证据地图的结论改为“已证明”。
6. 下一轮需要补齐的原文审查
当前尚未完成每篇的实验表格逐行核对，优先级按“可能改变研究决策”排序：
- DYPO：4.8% 与 13.3% 的定义、对照、是否含多教师额外成本、门控和 GAL 的逐项消融。
- TSRL：困难状态阈值和标签来源、任务顺序、遗忘指标、相同专家预算的对照。
- BRIDGE：完整双层近似、纯 RL 辅助分支成本、同一 GPU-hours 的消融。
- ReLIFT：教师数据来源和过滤、演示占比 13% 的分母，以及为何 arXiv v1/v3 摘要与会议摘要的均值不同（包括基线和评测口径）。
- 工具调用对照：评测是否执行真实工具，以及各方法总生成 token 和反馈预算。
下一步不是把所有未核实信息填成“强证据”，而是逐篇关闭上面的待核对事项，同时保持事实与推测分开。具体优先实验和停止规则见研究实验议程。
学完以后，我能否回答这些问题？
- 这里比较的方法路线，本质差别是什么？
- 每条路线最有力的证据与争议分别是什么？
- 如果重新设计一个消融实验，应先检验哪条假设？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。