Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently
- 中文主题：为何结果奖励可能教会模型回溯，而最短路径模仿不能
- 作者：Stanley Wei、Juno Kim
- 首次公开 / 发表时间：2026-07
- 发表状态：ICML 2026 正式论文
- 原始来源：论文或官方页面
- 标签：理论 / 回溯 / 结果奖励 / 探索
- 原文核验：2026-10-19；核验范围：原文/官方摘要（方法及实验中的进一步细节需查原论文表格）
问题
如果所有 SFT 示范都是通往正确答案的最短路径，模型看不到“走错后应该如何回头”。对于真实 Agent，恢复、重试和分支撤销是不可忽视的能力。
理论模型
论文把思维链建模为图上的路径搜索。在该构造里，只看成功最短路径的 SFT 缺乏从死胡同返回的监督；而 RLVR 能从最终结果奖励学习哪些状态应该回溯，形成推理时计算量差异。文中的证明依赖图搜索假设，不等于现实 Transformer 训练的无条件优势。
为什么重要
结果奖励不必描述每个中间步骤的正确性，也可能学到“在什么地方尝试、回退、重选”的策略。如果只在监督轨迹上复现标准动作，则对于偏离轨迹后的行为没有训练信号。
边界
要学会回溯，策略仍需有可探索的替代路径和可传播的奖励。一个从未能得到正奖励的机器人场景不能自动从该定理受益。
ORA 启发
真正的闭环 Recovery 应在模型自己遇到的失败状态评测，而不能只在理想示范上统计动作误差；但是存储的真实轨迹通常没有记录反事实动作的后果，仍需真实仿真/环境反馈。
阅读提示：以上“论文报告”是对作者公开材料的重述；“批判性分析”是知识库的研究判断，未经独立复现实验。
一个最小例子：为什么只模仿成功路径不够？
设起点 S 有两条分支。A 通往死胡同，B 可以到达目标 G。训练数据只有黄金最短路径 S→B→G，因此模型从未在状态 A 见过「返回 S 再试 B」的监督。
- 仅在黄金路径上 teacher forcing 的 SFT 可以加强正确起步，但在偏离路径后未必知道如何恢复。
- 能主动走到 A 并获得终点成功或失败反馈的 RLVR，在足够探索且满足理论条件时，可以学习选择与回退时机。
这个玩具图是概念解释，不是原文定理的完整证明。
对原理论最重要的反证思考
如果给 SFT 也加入错误状态与恢复示范，比如 S→A→S→B→G，那么原文比较的「只用黄金最短路径、没有负例的 SFT」假设已被改变。因此作者的结论不能解读为「所有 SFT 都无法学会回溯」。
真正有研究意义的问题是：
- 在等量专家数据预算下，让 SFT 看见偏离状态的恢复轨迹，RLVR 的额外收益还剩多少？
- 假设恢复示范难以获得，RLVR 通过自行探索收集信息是否更具总体成本优势？
- 真正机器人环境不能像图搜索随意撤回接触操作，离散路径回退的理论是否仍有价值？
适用边界：论文图搜索模型可回退到先前节点；机器人可能碰撞、夹取失败、物体掉落，实际状态不可逆。奖励可判定且探索出现正例是另一个必要现实条件。原理上的推理时间计算差距，不等同于现实具身 Agent 的任务成功率优势。
来源：ICML 2026 PMLR 官方摘要，明确限定黄金最短路径、无负例的 SFT 数据条件。
学完以后，我能否回答这些问题？
- 这篇论文真正优化的目标是什么？训练信号从哪里获得？
- 它的核心机制相对基线新增了什么？主要收益在什么条件下成立？
- 哪些结论有实验支持，哪些迁移到我的研究还需要验证？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。