SFT、RL 与 LLM Agent 后训练：学习路线
这条路线强调先学概念、再搭框架、再比较方法、最后形成研究判断。完成每一步时，请试着用自己的话回答：这个方法使用什么训练信号，什么条件下有效，实验有没有真正验证你关心的结论？
学习目标
- 不把 SFT、RLVR、OPD 和离线轨迹对齐混为同一类监督。
- 能解释阶段式训练、交替更新、联合优化各自的收益与额外成本。
- 能说出代表论文真正解决的问题、实验前提及无法外推的地方。
- 能自己设计可证伪的研究对照，而不仅是复述论文贡献。
建议的学习方法
每篇论文按「研究问题 → 训练信号 → 核心机制 → 实验证据 → 限制与反例」五步理解。阅读后暂时关闭页面，用三到五句话复述；有问题时再跳转对应术语或综述。下方路线的勾选只保存在当前浏览器，不会更改论文真实的已读状态。
完成七步后的延伸研究（不计入原路线进度）
- 研究主张证据地图：任选 C01–C07，解释「证据在什么条件下成立」及「还有哪一种更简单的解释」。
- Agent 后训练可证伪实验议程：阅读 E0–E5，试着删除一组不必要的复杂算法，并补上缺失的数据/计算预算匹配。
学习自检：不要只说「ReLIFT 比 BRIDGE 强」，请先确认两篇是否优化同一指标、用了同一模型和同一预算；只有条件可比才有排名意义。
按顺序学习
每步都有明确目标，建议先复述关键概念，再继续下一步。
0 / 7 步
代表基线 · 论文 DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning →
理解 Base 直接 RL 与冷启动 SFT 的区别，明确 R1-Zero 成功的前提和局限。
动态协同 · 论文 Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions →
研究 RL 为什么会卡在无成功样本的状态，以及定向监督怎样补足探索。
联合优化 · 论文 Beyond Two-Stage Training: Cooperative SFT and RL for LLM Reasoning →
分析监督梯度与 RL 目标之间的冲突，以及复杂元优化是否值得额外开销。
这里的勾选仅保存在当前浏览器，不会改动 GitHub 论文状态，也不会跨设备同步。