Qwen3 Technical Report
- 中文主题：四阶段 SFT/RL 与小模型的强到弱蒸馏
- 作者：Qwen 团队（An Yang 等）
- 首次公开 / 发表时间：2025-05
- 发表状态：arXiv 技术报告
- 原始来源：论文或官方页面
- 标签：四阶段训练 / 长思维链冷启动 / RL / 模式融合 / 蒸馏
- 原文核验：2026-10-19；核验范围：原文/官方摘要（方法及实验中的进一步细节需查原论文表格）
为什么它值得作为训练范式参考
Qwen3 旗舰不是简单做一次 SFT 和一次 RL，而是围绕模型最终要兼容的思考/非思考任务设计多轮后训练。
训练顺序
第 1 阶段：Long-CoT 冷启动 SFT，向基座注入足够的长推理输出范式；第 2 阶段：Reasoning RL，在具有程序或答案验证器的数学、代码、科学问题上优化结果；第 3 阶段：Thinking-Mode Fusion SFT，把有/无显式思考的任务重新整合；第 4 阶段：General RL，兼顾更广泛的使用场景与行为目标。
报告的思想并不是“第一阶段监督到极限”。冷启动强调提供可训练的初始行为，剩余策略质量靠后续 RL 优化。
强到弱蒸馏
小模型无需各自复制昂贵的四阶段流程，而使用大模型提供的 logit/行为蒸馏。报告宣称相较重复四阶段路径，训练 GPU-hours 可显著下降（约十分之一的量级，属于该模型与配方对比）。
风险和启发
这是完整生产体系的技术报告，不是所有阶段详细可复现的公开代码。不能把技术报告概览当作精确 RL 后端实现说明。对于 ORA，同样可以“少量格式/动作 SFT → 物理与工具 RL → 防遗忘 SFT Replay”，但不存在直接证明 Qwen3 数学结果迁移到机器人领域的证据。
阅读提示：以上“论文报告”是对作者公开材料的重述；“批判性分析”是知识库的研究判断，未经独立复现实验。
学完以后，我能否回答这些问题？
- 这篇论文真正优化的目标是什么？训练信号从哪里获得？
- 它的核心机制相对基线新增了什么？主要收益在什么条件下成立？
- 哪些结论有实验支持，哪些迁移到我的研究还需要验证？
建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。