LLM / 多模态 Agent 后训练
核心问题：什么能力应该通过模仿学习，什么能力应该通过可验证结果、环境交互、教师蒸馏获得？不同学习信号如何协作而不互相抵消？
相邻主题：什么时候思考、什么时候调用工具？
- Agent 长程推理与工具调用专题：解释 CoT 与真实工具回路、Codex 的可选计划工具，以及 GLM-5.3-Flash / Qwen3.8-27B 的跨轮推理状态和思考预算。这里关注的是推理与行动调度，而不是本主题的 SFT/RL 优化配方。
三层研究入口
- 建立整体理解：SFT/RL 后训练长篇综述——机制、定义、方法脉络。
- 检验观点是否站得住：研究主张与证据地图——C01–C07、支持范围、表面矛盾、证据缺口。
- 设计下一项研究：Agent 后训练可证伪实验议程——E0–E5、数据/算法因素分离、成本和停止规则。
建议按「先读综述 → 再看证据地图 → 最后看实验」使用；证据地图不会替代原论文，实验议程也不表示实验已经完成。
建议学习入口
当前核对进度（2026-10-20）
| 先读哪篇 | 已核实的层级 | 仍要细看的地方 |
|---|---|---|
| ReLIFT | ICLR 官方摘要、作者训练仓库、2025/2026 版本差异 | 示范预算与每组消融 |
| BRIDGE | ICML 正式摘要、作者算法 2、代码公开状态 | 一阶近似、额外 RL 分支的 GPU-hours |
| DAPO | 官方项目页的四组件、资源与 loss 直觉 | 同预算复现与被过滤样本成本 |
| 工具调用 SFT/RL 受控对照 | arXiv 摘要的 15/18、29/54 与方法条件 | 是否优化真实端到端工具成功 |
| RLVR 回溯理论 | ICML 摘要的图路径和仅最短路径 SFT 前提 | 定理适用的图分布、失败恢复数据消融 |
读这张表的方式：「核实到原始摘要」不等于「逐表复查所有实验」；表中右栏是待研究任务。建议从 全局综述先了解争议，再按需求打开独立方法卡。
关键的三个研究问题
- 训练方法的收益究竟来自更好的梯度估计，还是来自额外示范、教师、数据混合与环境反馈？
- 离线回答/轨迹奖励实际验证的是什么：答案正确、工具格式、模仿相似性，还是真正的环境完成？
- 如果 SFT 加入失败状态和恢复示范，RLVR 在长程 Agent 中是否仍有独立、值得额外交互成本的收益？
本方向文档
- 长篇综述：SFT、RLVR、混合优化与 Agent 后训练
- 证据地图：哪些主张被证实、哪里只是表面矛盾
- 可证伪实验议程：任务、预算、基线、停止规则
- 共享术语：Agent 后训练
- 原始论文卡片
- 研究问题：真实演示轨迹与奖励设计
更新本方向时，建议先修订单篇论文卡片，再更新综述的比较表、趋势判断和开放问题。不要将本方向综述复制到 README。
学完以后，我能否回答这些问题？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。