通用机器学习和后训练术语

最近核验：2026-10-19

监督微调（Supervised Fine-Tuning，SFT）

给定数据 (x,y*)，通常最小化目标输出的负对数似然 -log πθ(y*|x)。LLM 中是 teacher-forcing 的 token-level cross-entropy，训练时目标 token 的监督不等于在推理时把正确答案交给模型。

行为克隆（Behavior Cloning，BC）

在序列决策/机器人中通过监督学习模仿示范策略的动作。它与一般 SFT 训练目标相似，但强调环境状态、动作与闭环分布偏移。

强化学习（Reinforcement Learning，RL）

优化策略在特定交互或评价机制下的预期回报。策略可以是 LLM 的文本/工具调用分布，也可以是机器人的动作分布；奖励可以来自环境成功、程序验证器、偏好模型或离线证据，但必须明确其语义。

Policy / 策略

πθ(a|h)：在可见历史 h 下生成动作 a 的条件分布。LLM 的动作可以是输出 token、完整回复或结构化工具调用。

Loss / 损失 与 Reward / 奖励

Loss 由优化器最小化，Reward 用于定义偏好的行为。RL 的 Policy Loss 并不等于负奖励原始值；通常需要对被采样动作的 log-prob 按回报/优势加权。一个奖励函数计算得出来，不意味着它能提供低方差、无偏或足够密集的更新。

On-policy / Off-policy（必须指明以谁为准）

• On-policy（严格意义）：行为样本由被优化的同一版本策略生成；从静态题库读取题目、由当前 LLM 生成回答再判分仍可以是 on-policy。若 rollout 与权重更新之间策略已改变，或旧轨迹被反复复用，则存在策略滞后，需要说明重要性比修正、裁剪与潜在估计偏差，不能仅因系统自称 on-policy 就忽略这些问题。
• Off-policy：训练使用与当前策略不同的行为策略产生的数据。真实机器人历史示范通常为离线/离策略数据。
• 离线数据与离策略算法不是同一个概念：题目固定但回答由当前策略采样，和直接用历史演示动作训练，是两种设置。

冷启动（Cold Start）

在主训练阶段（常为 RL）开始前，为模型提供足够的初始能力，使输出格式、动作接口、推理样式、探索成功率达到可训练范围。通常利用少量 SFT、蒸馏或先验 checkpoint。冷启动是相对于目标阶段的概念，不等于从随机初始化训练。 如果已有 Instruct/Base 模型具备能力而直接开始 RL，也可以不做该任务的额外冷启动 SFT。

分布偏移 / Distribution Shift

训练时见到的状态历史与模型实际执行产生的状态历史不同。机器人示范中尤其明显：模型执行了未记录动作后，真实后果无法从同一条记录直接获取。

信用分配 / Credit Assignment

把轨迹级成功或失败归因于此前各时间步动作/工具决策。终点奖励即便准确，长程信用分配仍然困难。

部署时安全约束

最大平移步长、角度、碰撞检查等必须由机器人执行层强制；仅在 Reward 中惩罚超限动作，不能保证安全。

学完以后，我能否回答这些问题？

1. 我能不用原文复述这些概念的定义吗？
2. 能举出满足定义的例子与常见反例吗？
3. 哪些概念容易混淆？分界条件在哪里？

建议不看正文先回答，再回到相关章节核对。这里不自动判定「已读」。