SFT、奖励模型、RLHF 分别解决什么？

问题从哪里来

预训练擅长延续文本，却不直接以“满足指令”为目标。InstructGPT 将人类示范与比较反馈引入后训练，使训练信号更贴近期望行为。示范质量、标注者偏好和任务覆盖都会影响最终行为。

关键机制

SFT 用示范答案做监督学习；奖励模型从同一提示下的答案排序学习打分；RL 阶段生成答案并优化奖励，同时通常用与参考策略的偏离约束稳定训练。这是一个具体流程，RLHF 也包含其他实现，不应把 PPO 当作唯一方法。

J(π) = E[r(x,y)] − β · D_KL(π ∥ π_ref)

算例与证据

目标式是概念简化：奖励越高越好，但偏离参考策略会付出代价。β 太小可能过度追逐奖励漏洞；太大又限制行为变化。具体实现的 KL 估计、采样和优化细节必须回到论文。

收益之外的新约束

学到的奖励不是事实正确性的证明。偏好模型可能偏爱长度或语气；优化器也可能放大评分漏洞。必须用独立任务评估、人工检查和分布外测试检验收益。