MiMo-V2.6：MOPD2 与多教师在线策略蒸馏
- 中文主题：用领域教师把 SFT 和 RL 能力汇聚到学生，而不是简单混 Loss
- 作者：XiaomiMiMo 团队
- 首次公开 / 发表时间：2026-09～10（本笔记核对模型卡与后续工具调用问题说明）
- 发表状态：官方技术报告及模型卡；非独立同行评审结论
- 原始来源：论文或官方页面 · 代码/模型/其他官方资源
- 标签：OPD / 多教师 / Agent / 专家策略 / SFT Prefix
- 原文核验：2026-10-19；核验范围：原文/官方摘要（方法及实验中的进一步细节需查原论文表格）
主要动机
不同能力分别做 RL/SFT 后再顺序更新同一模型，容易“跷跷板”：一个领域的收益伴随另一领域退化。MOPD2 让多个特定领域教师，在学生当前生成的输出上提供更细粒度的指导。
三个训练流
标准 MOPD：学生自己 Rollout，RL 类领域教师在该前缀上给分布信号；Teacher-Prefix OPD：使用教师行为的历史前缀，学生只生成下一轮，由教师在同样前缀下评分；SFT-Prefix OPD：历史前缀取自 SFT 示例，学生写自己的续写，再按教师分布优化。官方模型卡明确三股流共同贡献一次训练更新；“前缀来自 SFT”不等于学生直接做传统监督交叉熵。
与 ORA 的关系
优点：保持训练的 on-policy 属性，同时让学生面对高质量历史与未见的任务进度。缺点：需要教师在学生状态上可靠地评估下一步分布；如果专家模型的机器人动作本身不可靠，蒸馏它不是更优动作的证据。
实践案例
小米官方另分析了 Agent 工具调用重复问题。专门训练一个识别重复调用/错误使用的教师，再蒸馏到主模型，说明教师可以很窄、验证器可以很具体，而不必要求一个全能机器人专家。官方博客报告约 7,000 例、12 训练步专门教师的诊断实验；这是该局部问题，不代表解决所有工具决策。
批判性分析
多教师输出的校准、前缀分布和奖励可信度都是关键。对 ORA，更容易先制作“任务完成、错误格式、重复观察”的确定性验证器，而不是新建完整的 GPT-6 Astra 专家控制链。
阅读提示：以上“论文报告”是对作者公开材料的重述；“批判性分析”是知识库的研究判断，未经独立复现实验。
学完以后，我能否回答这些问题？
- 这篇论文真正优化的目标是什么？训练信号从哪里获得？
- 它的核心机制相对基线新增了什么？主要收益在什么条件下成立？
- 哪些结论有实验支持，哪些迁移到我的研究还需要验证？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。