Bridging SFT and RL: Dynamic Policy Optimization for Robust Reasoning
- 中文主题：DYPO：以奖励反馈调节 SFT 的稳定性与 RL 的探索性
- 作者：Taojie Zhu、Dongyang Xu、Ding Zou 等
- 首次公开 / 发表时间：2026-07
- 发表状态：Findings of ACL 2026 正式论文
- 原始来源：论文或官方页面
- 标签：动态门控 / 方差 / 蒸馏 / 联合优化
- 原文核验：2026-10-19；核验范围：原文/官方摘要（方法及实验中的进一步细节需查原论文表格）
一句话结论
DYPO 试图同时处理 SFT 的数据拟合偏差和 RL 梯度高方差：利用奖励反馈决定当前阶段应该更多依赖模仿还是探索，而不是始终保持固定比例。
方法拆解
第一，Group Alignment Loss（GAL）利用同组样本的结构信息减小 RL 梯度方差。第二，多教师蒸馏引入不同推理路径，缓解只盯单一标准答案的监督偏差。第三，动态 Exploration–Exploitation Gating 依据训练反馈在 SFT 和 RL 信号之间调节。关键不是简单的“两个 Loss 同时存在”，而是有一套动态仲裁机制。
结果与边界
作者报告复杂推理基准平均改善4.8%、OOD 任务13.3%，这些是相对指定基线和评测设置的作者结果，不能与 BRIDGE 的绝对百分点直接比较。应查原文的百分比口径和不同组件消融后再横向排名。
批判性分析
方法包含多教师信息，假如机器人领域没有强 Teacher，则其中一个关键条件无法满足。动态门控也可能受到 Reward 噪声影响，过早关闭探索。
对 ORA
可吸收“根据学习进度调整监督比例”的思想，不直接复制多教师配方。先用便宜的交替 SFT Replay + RL 对照，验证需要不需要更复杂门控。
阅读提示：以上“论文报告”是对作者公开材料的重述；“批判性分析”是知识库的研究判断，未经独立复现实验。
学完以后，我能否回答这些问题？
- 这篇论文真正优化的目标是什么？训练信号从哪里获得？
- 它的核心机制相对基线新增了什么？主要收益在什么条件下成立？
- 哪些结论有实验支持，哪些迁移到我的研究还需要验证？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。