DeepSeek-R1：R1-Zero、四阶段后训练与蒸馏究竟说明了什么？

阅读目标：看清楚两个不同模型、三种学习信号、四阶段 R1 流程与另一条蒸馏支线；把作者实验、可推导的结论和不能证明的主张明确分开。

原始依据：arXiv 2501.12948 v2（2026-01-04） · Nature 2025 正式发表 · DeepSeek-R1 官方仓库。以下数字主要以 arXiv v2 表、图与附录为准；模型权重已公开不等于全部训练数据、rollout 和端到端训练工程可直接复现。

简称：DeepSeek-R1；同一研究还包含 R1-Zero（不做先行推理 SFT 的纯 RL 试验）和 R1-Distill（从大模型蒸馏出来的较小模型）。三者不是相同训练配方。

0. 先回答最重要的三个问题

（1）DeepSeek-R1 到底怎么做的？ 从已经预训练好的 DeepSeek-V3-Base（671B 总参数、每 token 激活约 37B）出发：R1-Zero 直接做规则奖励 GRPO；完整 R1 则通过冷启动 SFT → 推理 RL → 拒绝采样与混合 SFT → 第二轮混合奖励 RL获得更可读、一般任务更强的推理模型。

（2）最能说明什么？ 在有足够强的预训练 Base、可靠可验证奖励和充足 RL 算力时，不必先给完整的人写 CoT 示例，也能强化长链推理；但面向实际使用的 R1 最终仍受益于 SFT、通用数据与偏好奖励。

（3）最不能说明什么？ 不能证明“任何 Base 直接 RL 都有效”“人类 SFT 已经过时”“长 CoT 必然反映真实的内在因果思考”“数学奖励可以直接给机器人未执行动作打分”，也不能把多个阶段带来的收益归因到单独一个 Loss。

1. 区分三条模型线

模型	初始化与主要训练信息	目标 / 意义
R1-Zero	V3-Base → 直接 GRPO；数学/代码等正确性规则 + 格式奖励，不先进行推理 SFT	验证可验证奖励能否单独放大推理能力
R1（完整版）	V3-Base → 冷启动 SFT → 推理 RL → 约 80 万混合 SFT → 第二阶段 RL	提高推理同时兼顾可读性、遵循指令与通用对话
R1-Distill 系列	Qwen/Llama 各自已有基座 → 使用 R1 生成的高质量输出进行 SFT	知识转移；不是在小模型上直接复制 671B 的全部 RL

“没有 SFT”只指 R1-Zero 在该轮推理 RL 前未做额外的推理 SFT。V3-Base 已有大规模预训练知识、数学与代码统计结构；R1-Zero 不是从随机参数、零知识起步。

2. R1-Zero：训练信号如何让推理变好？

2.1 训练输入与奖励

对一道题 $q$，模型生成一组 $G$ 条回答 $o_1,\ldots,o_G$。规则评分大致包括：

• Accuracy reward：最终数学答案可匹配；程序题可利用编译和测试用例检验结果。
• Format reward：要求响应有结构化思考段和最终答案段，便于解析。存在格式要求不等于训练监督了每一步的 CoT 内容。

原文 Section 2.2 写出：

$$R_{\mathrm{rule}}=R_{\mathrm{accuracy}}+R_{\mathrm{format}}.$$

在 R1-Zero 的规则奖励阶段，作者避免依赖持续更新的神经网络式 process reward model，理由包括奖励黑客与训练复杂度。但 R1 的后续通用偏好对齐又会使用 reward model，不要错误地说“DeepSeek-R1 完全没有奖励模型”。

2.2 GRPO 到底在更新什么？

与 PPO 中训练额外 value/critic 模型估计优势不同，GRPO 利用同题多条回答的组内相对奖励计算优势：

$$A_i=\frac{r_i-\bar r}{\operatorname{std}(r_1,\ldots,r_G)}.$$

然后对旧策略采样的回答，用策略概率比、PPO 式裁剪与相对 reference policy 的 KL 惩罚更新策略。论文 Section 2.1 的完整式可在原文公式 (1)–(3)核对。这里写的是关键机制而不是完整 loss 的逐 token 重排。

若同题全部得到相同奖励，组内中心化优势会缺乏可区分信号；实现还涉及标准差为零时的数值处理。注意：独立 KL 等正则项仍可能有梯度，所以不能笼统说“整个更新梯度必然为零”。

2.3 具体训练设置与代价

arXiv v2 Section 2 的 R1-Zero 公开配置包括：同题采样 16 条回答、每步 32 个不同问题 = 512 条回答；初始生成长度上限 32,768 tokens，第 8,200 步后扩至 65,536 tokens；共约 10,400 次策略更新；每 400 步更新 reference 模型，温度为 1。

附录 B.4.4 另给出 512 张 H800（64×8）、R1-Zero 约 198 小时 / 101k H800 GPU-hours 的训练成本。它是大规模推理后训练成本，不是训练 V3-Base 的总算力，也没有包含一切训练/基础设施支出。

2.4 观察到的变化

论文 Figure 1 报告：R1-Zero 的 AIME 2024 pass@1 从约 15.6% 提升至 77.9%；多数投票可进一步提升。随着训练，回答长度增加，出现反思、重新检查及尝试替代路径等文本行为。

作者实际观察到：模型得分、输出长度与若干可识别推理模式一起变化。不能因此直接证明：“模型内部形成了人类式反省机制”或“答案越长就越正确”；CoT 长度、预训练先验、评测与奖励均可能影响观测。

3. DeepSeek-R1 完整版：为什么还要四阶段？

与 R1-Zero 分开，完整版 R1 不是从 R1-Zero checkpoint 直接接着训出来的单一流水线，而是以 V3-Base 为起点构造更可用的多阶段流程。

阶段	实际处理	为什么需要它
① 冷启动 SFT	收集数千条高质量、可读的推理示范并训练 V3-Base	约束输出风格与可读性，给后续 RL 一个更稳定的起点
② 推理导向 RL	类似 R1-Zero 的 GRPO 与可验证结果奖励，加语言一致性激励	扩展复杂推理能力，缓解混合语言输出
③ 拒绝采样 + 混合 SFT	用②的 checkpoint 生成多条候选、过滤正确样本，混入通用非推理数据，再对 V3-Base 重新 SFT	将强推理样本与写作、问答、代码工程等能力整合
④ 第二阶段 RL	混合数学/代码等规则奖励与通用 helpfulness/safety 偏好奖励	从通用指令、偏好与推理两边进一步对齐

注意阶段③特别容易被讲错：不是仅拿第二阶段的权重不动地继续 SFT。作者在原技术报告中写的是收集推理和通用样本，重新训练 V3-Base 得到新的 SFT checkpoint，再进行最终 RL。若将它误描述为“原 checkpoint 一路串行走到底”，会误解为何 SFT 阶段后多个基准先降后升。

3.1 约 80 万条监督数据到底是什么？

附录 B.3.3 Table 5 给出 804,745 条 SFT 数据：

数据领域	样本量
Math	395,285
Code	211,129
STEM	10,124
Logic	10,395
General	177,812

文中也概括为约 600k 推理样本 + 约 200k 非推理样本。数学/代码推理样本部分来自第一轮 RL checkpoint 的多候选拒绝采样；扩展部分还会用 DeepSeek-V3 判断答案正确性、过滤混乱 CoT；非推理样本则包含写作、事实问答、自我认知、翻译、软件工程等。

这里的 SFT 不是全部由真人逐题书写，也不是纯原始数学问答库。大量示范是在 RL 探索之后筛选生成出来的，因此 R1 体现的是 RL → 产生更好的监督数据 → 再 SFT 的协同闭环。

3.2 第二阶段 RL 与模型奖励

第一轮 R1 推理 RL 增加语言一致性奖励；论文消融发现这可能带来小幅推理性能下降，却有助于阅读体验，是一次多目标权衡。

最终 RL 使用：

• 推理样本：仍以正确性规则奖励为主；
• 通用样本：使用 helpfulness / safety 偏好奖励模型；
• 加入语言一致性及相关格式要求。

通用偏好数据只在最终第二轮 RL 的最后 400 / 总共 1,700 步引入（arXiv v2 Section 3.2.2）。这是一个很实际的设计：偏好模型不是无条件多训练越好；作者观察到训练过久会出现 reward hacking。

4. 哪些实验真正支持什么主张？

4.1 Figure 1：不经推理 SFT 的直接 RL 有效

证据：R1-Zero 的 AIME 2024 pass@1 15.6 → 77.9（作者报告的同一条训练曲线）；反思与长 CoT 行为出现。

支持：已经充分预训练的大基座，可在有客观、可验证答案的领域，通过纯 RL 有效增强推理成绩。

不支持：任意小模型都能复现、没有预训练也能涌现、推理模型不再需要 SFT、模型内部思维等于展示的 CoT。

4.2 Table 3：阶段的收益不是单调上升

节选同一报告的部分数据（均按作者原表口径，单位为百分数）：

指标	R1-Zero	Dev1（冷启动后）	Dev2（推理 RL 后）	Dev3（混合 SFT 后）	最终 R1
AIME 2024 pass@1	77.9	59.0	74.0	78.1	79.8
IFEval Prompt Strict	46.6	71.7	72.0	78.1	83.3
LiveCodeBench pass@1-CoT	50.0	57.5	63.5	64.6	65.9
AlpacaEval 2.0 LC-winrate	24.7	50.1	55.8	62.1	87.6

重要观察：Dev1 冷启动提升可读性和指令遵循，却不保证立即提高 AIME（相对 R1-Zero 还更低）；中间 RL 强化推理；后续混合 SFT 与偏好 RL 主要扩展通用任务表现。论文展示了每阶段 checkpoint，但它们不是在所有其他条件严格不变时仅开关一个模块的随机实验，因此不能把某个数值差简单归因到单一技术细节。

4.3 Table 16：32B 蒸馏 vs 32B 从 Base 直接 RL

论文对 Qwen2.5-32B-Base 做了单独大规模 RL（文中称 Qwen2.5-32B-Zero，超过 10k 更新），与利用更大 R1 输出蒸馏的 R1-Distill-Qwen-32B 对比：

指标	32B-Zero 直接 RL	R1-Distill-Qwen-32B SFT
AIME 2024 pass@1	47.0	72.6
MATH-500 pass@1	91.6	94.3
GPQA Diamond pass@1	55.0	62.1
LiveCodeBench pass@1	40.2	57.2

这直接反驳“既然 R1-Zero 很强，所有小模型也应当优先 Direct RL 而不是蒸馏”。但也不能凭此宣称蒸馏在等教师成本和等 GPU-hours 下普适更经济；蒸馏借用了更大 R1 的训练和数据生产开销，必须按全链路成本评估。

4.4 失败与适用条件同样重要

原文 Appendix G 报告，早期 7B dense / 16B MoE 的直接 RL 实验难以获得类似 AIME 提升，并出现更长却重复的输出；作者随后扩展到更强的 32B、230B 和 671B 规模。

这说明“直接 RL 能提升推理”有初始能力、模型规模、可探索成功率和稳定奖励等条件，并不等于任何 Base + GRPO 就有推理涌现。

作者还讨论 PRM 与 MCTS 的不理想尝试：PRM 的中间步骤标注难、Reward Hacking 风险高；MCTS 在长开放式推理中的状态切分/搜索维护成本很大。不能将这些特定配方中的失败推广为“PRM、MCTS 在所有任务都无效”。

5. 对后训练研究最有价值的三个判断

判断 A（来自原论文的强证据）：在有稳定可验证正确性和强预训练 Base 的推理任务，RL 可以显著提高成绩，不必在这一轮 RL 前额外准备人写推理链。

判断 B（来自正式 R1 流水线）：SFT 与 RL 是互补的——SFT 提供可读起点、融合经拒绝采样筛出的优质推理数据和通用任务；RL 继续探索与做多目标对齐。但 R1 不是 BRIDGE 那种“同一步优化里协调 SFT/RL 梯度”的方法。

判断 C（明确需要额外实验证据）：在工具 Agent 或机器人里，是否值得走 R1 式 Direct RL，要取决于真实工具/仿真是否可执行、是否可客观验证最终任务成功、有多少有效探索轨迹、是否有比 Direct RL 便宜得多的成功示范。

6. 如果要在 Agent 上验证 R1 的结论，做什么实验？

用相同 Base、工具 API、观测和同一评测任务，构造：

1. Base → Direct RLVR：只用真实工具执行结果与终点验证器。
2. Base → 冷启动 SFT → RLVR：比较冷启动是否主要降低解析失败、提高成功组率。
3. Base → RLVR → rejection-sampled SFT → RLVR：测试用当前模型生成的成功轨迹再监督，是否比单纯增加 RL 轮次有效。
4. Base → R1 风格蒸馏 SFT：若有更强教师，报告示范生成与筛选成本。

可证伪点：若在相同总成本下，单纯增加高质量专家示范比复杂多阶段 RL 获得更高端到端成功率，应当优先优化数据/教师，而不是仅因为 R1 在数学上成功就选择 Direct RL。

严禁偷换观测：用保存的机器人轨迹给“未执行动作”评价与示范的距离，得到的是 imitation proxy，不是实际环境转移后的奖励。R1 的数学判题器能评价已经生成的答案，不能据此证明离线动作自动具有真实反事实结果。

7. 复现现实、限制和继续阅读

• 开放范围：论文、模型权重和推理使用指南可公开获取；不能因为官方仓库存在就断言原始约 80 万 SFT 样本、完整大规模 RL rollout 和所有分布式训练工程均已原样公开。
• 总资源：arXiv v2 Appendix B.4.4 给出约 101k H800 GPU-hours（R1-Zero RL）、约 5k（R1 SFT 数据生产）、约 41k（R1 训练），合计约 147k H800 GPU-hours 的所列训练成本。它排除了 V3-Base 预训练与全项目探索试错总成本，不能用作“从零训练 R1 的全成本”。
• 弱证据与局限：论文展示较强基准结果，但训练数据与榜单的污染控制、偏好模型失配、奖励黑客、推理过程可解释性、长程真实工具成功率均需要额外证据。原文也讨论多轮能力的局限：约 80 万 SFT 样本多数为单轮。
• 最新技术报告版本：arXiv 2025-01 首发，v2 2026-01 更新。这里的数字和流程以 v2 为准；阅读不同版本须明确版本后再比较。

原文定位：Section 2（GRPO/规则奖励） · Section 3（四阶段 R1） · Table 3（阶段比较） · Appendix B.3.3（80 万样本） · Appendix F.1（蒸馏与直接 RL） · Appendix G（负结果）。

学完以后，我能否回答这些问题？

1. 这篇论文真正优化的目标是什么？训练信号从哪里获得？
2. 它的核心机制相对基线新增了什么？主要收益在什么条件下成立？
3. 哪些结论有实验支持，哪些迁移到我的研究还需要验证？

建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。