SFT、RL 与 LLM Agent 的协同训练：2025–2026 年文献综述

核验日期：2026-10-20 · 研究范围：LLM / 多模态 Agent 后训练的 SFT、RLVR、交替训练、联合优化、在线蒸馏、工具选择与机器人迁移。
文献性质：叙述性综述，不声称系统综述或穷尽所有工作。优先核对会议官方、arXiv 原文与官方模型卡；引用链接可点击。论文实验的数学/代码结果不自动外推到机器人 Agent。

如果不想按论文逐篇阅读：先打开研究主张证据地图看 C01–C07、冲突与证据缺口；若已准备做实验，直接查看Agent 后训练可证伪实验议程中的 E0–E5。原有这篇综述继续负责方法概念与文献背景。

0. 先给研究判断

1. SFT 与 RL 不是互斥关系，也不存在普适的最优固定比例。 阶段式 SFT→RL 是成熟基线；ReLIFT 将针对性 SFT 插入 RL；BRIDGE 与 DYPO 研究更精细的梯度协调；MiMo 使用多教师 On-Policy Distillation 汇总能力。
2. 可靠标签来自示范，还是来自结果验证器，是一条关键分界。 SFT 在教师动作已经可靠、解答短而确定的任务上非常有竞争力；RL 在多个正确策略、工具选择、纠错和长程决策上有潜力，但有效探索与奖赏设计决定性能上限。
3. 领域差异不可忽略。 工具调用的受控对比显示 SFT 并不弱，甚至常在分布内更好；ReLIFT显示适时向策略注入正确解法有益；回溯理论解释为什么单一最短路径模仿可能缺少错误恢复的监督。这些结论并不矛盾，因为优化目标、数据覆盖和可验证性不同。
4. 机器人领域更值得问“怎样复用真实演示信息”，而非一概把动作标为原样 GT。 对于跨步长/跨观察频率有效的路径，可考虑用示范约束的轨迹对齐 Reward 训练策略；但真实轨迹不包含未执行动作的结果，不能直接假装形成完整的物理 Online RL。

1. 从优化目标解释 SFT 与 RL

1.1 标准 SFT

给定 (x,y*)，典型自回归 SFT 最小化：

$$\mathcal L_{\mathrm{SFT}}(\theta) = - \mathbb E_{(x,y^*)\sim D} \sum_{t=1}^{|y^*|} m_t\log\pi_\theta(y_t^*\mid x,y^*_{<t}),$$

m_t 是有效监督 token 的掩码，通常保持自回归因果注意力不变。正确参考序列提供每个有效位置的监督，哪怕模型最初完全不会做题，也有可计算的梯度。缺点是参考答案可能只代表很多可行解中的一种；行为克隆很容易模仿演示者的采样频率与动作习惯。

1.2 RLVR

给模型输入 x，由当前策略生成回答/工具调用 y~πθ(.|x)，验证器提供 R(x,y)。概念性目标：

$$J(\theta)=\mathbb E_{x\sim D,\,y\sim\pi_\theta(\cdot\mid x)}[R(x,y)].$$

训练依赖策略梯度/优势估计、重要性比和可能的 KL 约束，不是简单对 Reward 求导。对于离散工具调用，即使评分器返回连续的轨迹距离，也能作为采样后的标量奖励用于策略梯度更新。Reward 是否无漏洞、是否足够区分候选策略，远比它是否写成可微 PyTorch Loss 重要。

特别区分：问题 x 可来自固定离线题库，当前模型生成的 y 依然是 on-policy RL。可是如果 y 是尚未真正执行的机械臂动作，已有真实录像中下一个状态不是该动作的反事实结果。

1.3 一个常被忽略的区别：优化目标、行为分布和结果判定不是一回事

在机器人动作或工具 Agent 中，至少要分清三种东西：

• 数据来源：输入问题可以来自固定题库，或状态来自历史轨迹。数据来源是否离线，不决定策略更新是否 on-policy。
• 采样行为：当前策略是否真的生成了被评分的动作/回复？一旦模型用旧 rollout 多次更新、异步 actor 落后 learner，就要明确策略版本与比率校正，而不能只说“是在线 RL”。
• 验证器语义：奖励检验的是最终任务成功、可执行性、与演示的对齐，还是解析格式？后三者即便完全准确，也不直接证明机器人任务成功。

反例：一条示范里机械臂向前移动 1 cm，策略提议 3 cm。如果只用示范下一帧打分，评分器评估的是“像不像历史动作”，并不是 3 cm 后实际发生的环境结果。即便梯度来自 RL 算法，该系统也不因此获得反事实物理反馈。

1.4 哪类任务可能更适合哪一种？

条件	SFT 潜在优势	RLVR 潜在优势
正确输出唯一且已知（如坐标变换）	直接、稠密、稳定的 token 梯度	能用验证奖励，但额外探索未必值得
正确结果可验证，但没有可靠思考示范	只监督最后答案，无法直接监督探索过程	自主探索多种推理路径
机器人历史演示动作质量较高	学 EEF、姿态、接触与动作格式	可从示范形状构造代理 Reward，但不证明物理成功
多工具选择、交互恢复与自主停止	需记录完整的专家策略才能监督	如果工具有真实反馈，奖励可能优化整段策略
模型正确采样概率趋近 0	正确解答仍能提供梯度	稀疏二元奖励常无有效信号，需冷启动或课程

术语详见共享定义和Agent 后训练定义。

2. 主要协同范式与代表研究

2.1 经典阶段式：SFT → RL → 再次 SFT/RL

DeepSeek-R1的 R1-Zero 表明：对于具有可靠答案验证器的推理，Base 可以直接开展 RL；但它也报告语言混用、重复和可读性问题，因此 R1 系列进一步使用冷启动监督。Qwen3 技术报告更明确展示四阶段：Long-CoT 冷启动 SFT → 推理 RL → 思考模式融合 SFT → 通用 RL。SFT 不只是发生在最初，也可在 RL 后统一输出样式与通用行为。

最重要的概念：冷启动不是必须先训练到最终能力最高，也不是随机初始化。它是进入某个关键训练阶段前，使当前策略拥有足够合理的输出格式、可被奖励区分的成功行为和必要物理先验。

局限：每个阶段改变参数分布，后训练阶段可能损害先前能力。可以考虑有监督 Replay、分领域教师，或参数高效的特定能力微调，但不能保证自动防遗忘。

2.2 交替训练：ReLIFT（ICLR 2026）

详细解读 · 官方论文。

出发点：RL 会反复遇到全部采样错误、缺乏正奖励的难题。对这类难题，继续采样未必有效。ReLIFT 在训练过程中检测弱点，对难题动态收集正确解答并加入针对性 SFT，然后继续 RL。它不是先一次性收集所有 Teacher CoT，更像“需要新示范时才补上”。

ICLR 2026 正式版在五项数学和一项 OOD 基准上报告相对所选 RLVR 对照平均**+6.7 个百分点**（arXiv v1 与 2026-03 的 v3 摘要仍写 +5.2 points；两种来源的具体基线/口径差异待核对）；这为“困难样本的 SFT + 已可解决样本的 RL”的职责划分提供证据。

不适用的地方：若无法取得真实机器人某失败状态的专家下一步动作，ReLIFT 并没有凭空解决没有专家的问题。另需将额外示范收集、筛选与教师成本计入总预算；具体概率例子与代码开放情况。

2.3 最新 2026-10 进展：TSRL 的困难状态触发监督

TSRL 详细解读 · arXiv 原文（2026-10-13，预印本）。与 ReLIFT 类似，TSRL 也不赞成在所有状态无条件 SFT，但更突出持续学习中的能力遗忘。它将 RL 作为主干，用 Group Success Rate 判断当前状态是否难到应当请求专家标签，仅在触发时加监督，并逐步减弱其影响。作者在 ALFWorld、WebShop、Deep Search 实验中报告，之前任务的能力比某些 SFT→RL 基线最多多保留 9.6 个百分点。重要限制：它仍然要求困难状态有可信专家，不能解决 ORA 没有通用专家的根本问题。

2.4 AgentTune / UniRL：训练框架不等于联合优化算法

AgentTune（2026-10-09，预印本）用双层 EventLog 将执行、训练、蒸馏与评价共享同一个轨迹事实来源。腾讯混元 UniRL（2026-10 官方仓库）已经将 SFT、Agentic RL、AR/VLM RL 与异步训练等入口纳入统一设施。两者对 ORA 的关键作用是可维护、可信的训练基础设施；它们不能作为“同一 Loss 联合更新一定更强”的证据。

2.5 双层协调而不是普通混 Loss：BRIDGE（ICML 2026）

详细解读 · 官方论文。

朴素联合 Loss 为：

$$L(\theta)=\lambda_s L_{\mathrm{SFT}}(\theta)+\lambda_rL_{\mathrm{RL}}(\theta).$$

令 $g_s=\nabla L_{\mathrm{SFT}}$、$g_r=\nabla L_{\mathrm{RL}}$，当 $g_s^\top g_r<0$ 时，单独执行 SFT 那部分下降方向在一阶近似下会增加 RL 损失。注意：这不证明完整加权一步必然有害，也不证明固定加权永远失败。

BRIDGE 的关键不是一个梯度夹角阈值，而是原文的双层优化 + 一阶惩罚近似 + 辅助 RL 对照分支。实际算法维护 $\theta$（联合 SFT/RL 的基模型）、$\widehat\theta$（纯 RL 对照）与 $w$（LoRA 协调参数），以联合训练相对纯 RL 的奖励增益信号更新 $w$。这意味着附加参数、奖励比较和算力成本，不是只多一个标量混合权重。

完整公式与算法 2 分解 · 正式论文 · 作者算法展示。

官方摘要报告五个数学推理基准相对所选两阶段/朴素混训等基线的平均绝对提升超过 3 个百分点，而不是相对提高 3%；它没有证明任意多模态 Agent、真实机器人环境均有效。

开源状态提醒：截至 2026-10-20，BRIDGE 作者仓库 README 仍是「完整实现稍后公开」；因此不能把「提供代码仓库地址」等同于「可以直接 follow 训练」。

2.6 基于奖励反馈的动态协调：DYPO（ACL 2026 Findings）

详细解读 · 官方论文。

DYPO 把 SFT 的低方差/拟合偏差与 RL 的探索/高方差作为互补问题，提出三项配套机制：组对齐损失、多教师蒸馏、依据 Reward 的动态探索–利用门控。作者报告复杂推理与分布外任务均有收益；这里含多教师依赖，不能作为“不需要强专家模型”的直接证据。

启示在于混训比例应随当前能力、奖励质量与训练状态变化，而不是固定一个常数。

2.7 能力合并而非普通混 Loss：MiMo-V2.6 MOPD2

详细解读 · 官方模型卡。

MiMo 为不同领域训练不同的 mixRL 与 SFT 教师，再用三股学生在线续写训练流整合能力：

• 标准 MOPD：学生完整 Rollout，教师评估其 Token 分布。
• Teacher-Prefix OPD：在教师已走过的上下文前缀上，由学生生成下一轮。
• SFT-Prefix OPD：上下文取自 SFT 示范，但下一轮仍由学生生成，并进行分布蒸馏。

这特别值得 Agent 训练参考：高质量历史前缀不一定意味着继续做传统 BC。但是 OPD 必须有在学生前缀上仍可靠的教师分布，不能把弱控制器的“最优动作”当作真实最优值。

2.8 机制与反证研究

RL Squeezes, SFT Expands（ICLR 2026）发现：在作者的推理图分析中，SFT 扩展正确轨迹，RL 压缩错误轨迹；这支持先让模型进入有效解空间，再优化选择。

Provable Benefits of RLVR over SFT（ICML 2026）在图搜索理论构造中展示了 RLVR 通过结果奖励学习回溯，而只看成功最短路径的 SFT 难以获得同样的信息。这不是对所有真实 Agent 的普遍性能保证。

工具调用受控对照（2026-09 预印本）更应认真看：六个 Qwen3 规模上，LoRA-SFT 获得 15/18 个域内条件的最佳表现；GRPO 在 54 个跨数据集条件中赢得 29 个，但平均领先 SFT 不足 1 个百分点；SFT→GRPO 也不稳定最好。该研究给“RL 一定胜过 SFT”提供了重要反例。

2.9 读论文时不可混用的「证据口径」

工作	作者报告的核心量	哪些比较是合法的？	不能得出什么？
ReLIFT	六个任务相对所选 RLVR 基线平均 +6.7 points	固定该论文所用模型、数据、教师资源时，比较是否更易解决困难题	比 BRIDGE 高 6.7 vs 3，因此 ReLIFT 更强
BRIDGE	五个数学基准相对所选基线平均超过 +3 绝对百分点	论文内部的联合、阶段、交替、纯 RL 对照	解决了普遍的多模态 Agent 梯度冲突
DYPO	作者报告 4.8% 和 13.3% 的 benchmark 改进	先核对百分比口径与对照基线，再分析各组件消融	将这个 % 直接写成百分点，并跨论文排名
RL Squeezes	推理路径结构的分布统计	在论文的路径切分与图构造下分析表征现象	证明所有 RL 只会“压缩错误轨迹”
DAPO	数学 RLVR 配方、AIME 数值和训练记录	相同评测与全量 rollout 成本下比较工程效率	Dynamic Sampling 不消耗被丢弃样本的算力

研究记录准则：首先保存「模型/数据/训练预算/采样温度/验证器/基线/指标的原始定义」，再谈谁比谁好。论文摘要给出的平均数只能用于定位研究，不应成为跨工作排序的唯一证据。

科研可复现性并不等于有 GitHub 链接：ReLIFT 官方仓库确实提供训练和评测材料；BRIDGE 的仓库目前尚未给出完整训练实现。这影响你是否能将其纳入实际可跑对照。

3. 专门的 Agent 与工具使用路线

AutoTool（ICML 2026）

详细解读 · 官方论文。

不是简单训练正确函数名称，而是把“动态工具库”作为研究对象。先通过 SFT/RL 稳定多轮推理轨迹，再使用 KL 正则的 Plackett–Luce 排序细化工具选择。作者使用约 20 万条工具选择解释数据、1,000 多种工具和 100 多任务，并报告在数学、检索、代码和多模态任务的正向收益。

对需要在不断扩大的工具目录中选择资源的系统，这类方法很相关；对当前工具数量有限、主要关心真实机械臂动作的系统，仍应先比较少量稳定工具 + 真正任务结果奖励的简单基线。

为什么不能仅看工具调用正确率？

“选到一个正确 API”与“实际任务成功”存在差距：工具参数合法不等于执行成功，连续工具调用可能循环，计划正确但行动失败仍无法完成任务。要区分 格式正确率、必要工具召回率、无效工具调用率、回合/工具成本、环境最终成功率。

4. 算法细节：为什么 RL 可能更昂贵，以及 DAPO 的作用

4.1 计算成本：不要用一条 FLOPs 估式宣称 RL 必然比 SFT 慢多少倍

对于常见稠密 decoder Transformer，经常用每训练 token 约 $6N$ FLOPs（$N$ 为参数量）估算一次前向+反向，生成输出 token 的前向估算常用 $2N$。这些只是忽略注意力、词表、prefix 重算、KV cache 和架构差异时的粗略主项。

假设同题 RL 采样 $G$ 个长度 $T$ 的独立回答，朴素地把 rollout 与策略训练主项写成 $2NGT+6NGT$，而一次长度 $T$ 的 SFT 主项约 $6NT$，就会得到看似简单的 $(4/3)G$ 比率。但这其实是在拿一个 SFT 答案对比 G 个 RL 答案，并没有对齐训练总 token、数据质量、有效样本量或最终达到的成功率，因此不构成算法耗时比率，更不是理论下界。

真实成本须分别统计：prefill 与 KV cache、actor 生成、learner 前后向、参考模型与 KL、reward/verifier、环境/机器人仿真、拒绝/截断组、分布式同步与 GPU 空闲，以及直到达到同一目标精度的总 wall time。

实践中建议同时报告：总生成 token、总监督 token、有效 RL 组、更新步数、GPU-hours、真实环境 episode 与最终任务成功率。

4.2 稀疏二元奖励的组内信号概率

若同一道题每条样本独立、同分布，答对概率为 p，奖励是二元正误，生成 G 条，则一组至少一对一错的概率为：

$$P_{\mathrm{mixed}}=1-(1-p)^G-p^G.$$

当 p≈0 或 p≈1，常见基于组内相对优势的更新会缺少相对奖励差异；附加 KL 等项仍可能有梯度。这个现象说明有效组概率可能比表面训练样本数更接近 RL 的数据效率瓶颈。但抽样之间相关、奖励非二元、优势计算不同以及 KL 等项都会改变真实梯度；过滤全同组还会浪费前期生成成本。

4.3 DAPO：工程配方不是另一种监督来源

详细解读 · 官方代码。

Clip-Higher、Dynamic Sampling、Token-Level PG Loss、Overlong Reward Shaping 针对探索熵塌缩、无效采样组、长回答梯度尺度和截断奖励。它们能改善已有可学习信号的训练效率，不能让模型在完全没有有效奖励的机器人任务中凭空学会控制。

5. 与 VLA、真实轨迹奖励的联系

真实演示的 next chunk 是一条已发生过的正确或可接受轨迹，不一定是唯一可行动作序列。如果一个演示每次移动 1 cm，模型在自由空间安全地移动 3 cm 可能更高效。对原始 next-chunk 逐点计算交叉熵/回归容易引入演示者的动作采样偏好。

Action-Constrained Imitation Learning（ICML 2025）用 DTW、MPC 在约束下构造可执行的替代模仿轨迹，说明放松逐时间戳匹配有研究先例。

但最关键的辨析是：如果当前模型只产生“要执行 3 cm”的工具文本，原视频并没有记录这个 3 cm 动作实际发生后的真实环境反应。你可以给当前策略输出一个“与示范轨迹接近”奖励，训练它更符合示范范围；但没有真实环境、可信动力学模型或有效反事实记录时，不能宣称获得真正的闭环任务成功奖励。

我建议保留 SFT 的普通自回归交叉熵、训练与部署的原有因果掩码，将“沿演示轨迹允许可变步长与姿态的合理推进”作为独立 RLVR/代理奖励实验。完整公式、反例与对照实验见研究问题。

6. 哪种混合训练最值得先做？

配方	能力和监督	工程特点	应当验证什么
Base → Direct RL	无本任务 SFT，依赖基座先验与验证器	简单配方，但探索可能零成功	初始成功率、有效组、最终性能
Base → SFT → RL	先注入动作/格式先验，再策略优化	稳健的强基线	SFT 是否必要，能否改善速度
Base → RL，困难题插入 SFT	类似 ReLIFT 的定向补监督	需要在线判定难题、收集合格答案	新监督是否有效补足支持集
RL 与 SFT Replay 交替	训练中持续保留关键旧能力	两套训练数据流/同一模型权重	遗忘、rollout stale-policy、成本
同一步 SFT + RL Loss	同一 optimizer 更新两个目标	易有梯度冲突，训练系统更复杂	是否胜过交替更新、梯度夹角
多教师 OPD	学生在线续写，教师提供 token 分布	对教师质量与推理后端依赖大	是否有真正高于学生的可靠教师

知识库当前研究建议，而非已被证明的最佳配方： 对机器人动作保留小规模真实监督；对可以程序核验的空间/未来推理测试 Direct RLVR；对复杂工具使用在真实工具反馈或轨迹可验证代理奖励下优化；对接触、失败恢复和离线动作分叉，必须使用可交互仿真或其他真实反馈进行最终验证。

7. 可证伪的实验矩阵（避免凭印象选择方法）

实验对照：A 固定规模 SFT；B Base Direct RLVR；C SFT→RL；D RL 中交替 SFT Replay；E 同一步 SFT/RL Loss（若前四组证明有必要再做）。

统一条件：同一个初始模型；按 episode/task/场景做真正留出；训练与部署完全相同的可见工具/图像；同一 Reward/Verifier；可比的 GPU-hours、采样量与环境 wall time；报告每组方差而非单次最好成绩。

必须记录：任务成功率、动作有效率、碰撞/非法动作率、恢复率、工具调用次数、验证器误判、原有物理能力和通用能力是否遗忘。物理题额外记录只看文本/选项能否猜对、未来帧泄漏、真实动作与假想反事实是否混淆。

停止规则：如果 Direct RL 的初始有效混合奖励组长期接近 0，先诊断验证器和任务设计，而不是盲目增加 Rollout；如果轨迹对齐奖励上升但实际任务成功率下降，应明确报告 Reward Hacking，不得称“策略改进”。

8. 原始文献阅读路线

1. 想先懂策略：读 DeepSeek-R1、Qwen3、ReLIFT、TSRL。
2. 想研究 SFT/RL 同步训练：读 BRIDGE、DYPO、RL Squeezes。
3. 想研究现代 Agent：读 工具调用受控对照、AutoTool、MiMo MOPD2，工程补读 AgentTune 和 UniRL。
4. 想研究实际 RL 配方与理论：读 DAPO、RLVR 回溯理论。
5. 想研究机器人轨迹监督：读 DTWIL以及真实轨迹奖励设计。

9. 尚存争议与维护任务

已单独梳理的研究主张：证据地图按统一口径分析「Direct RL vs SFT」「困难状态补监督」「梯度协调 vs 回溯」等常见误读；可证伪实验议程把这些分歧转为 E0–E5 受控实验。二者不是额外的论文卡片，也不应混作“作者做过的实验”。

• 同步梯度与交替更新在多模态、真实工具和长程机器人控制上是否有同样优势？
• 当不存在明显更强的教师时，能否利用可验证结果取代 OPD？
• 用真实动作序列构造奖励，可否真正提高闭环成功率，还是只能提高离线 imitation proxy？
• 多解动作优化如何防止绕过障碍、跳过接触、错配同一空间位置的不同任务阶段？
• 长期训练时，何时引入 SFT Replay 才能防止动作和代码等通用能力遗忘？

下一轮优先逐表核对：ReLIFT 与 BRIDGE 的基础模型/教师成本、DYPO 的百分比口径、工具调用受控对照的 18/54 个条件定义；这些都需要论文完整实验表格，当前只使用能由官方摘要与已核查材料支持的结论。

更新机制：任何新论文先添加/更新一张 论文卡片，记录链接、日期和原始实验证据，再调整本综述的主张；不得仅因为“更近”就覆盖较早的反证论文。留出争议与可证伪路径是本知识库的重要目的。

学完以后，我能否回答这些问题？

1. 这里比较的方法路线，本质差别是什么？
2. 每条路线最有力的证据与争议分别是什么？
3. 如果重新设计一个消融实验，应先检验哪条假设？

建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。