DPO 为何可以省掉独立奖励模型？

问题从哪里来

基于奖励模型的 RLHF 包含奖励拟合、在线采样和策略优化等环节。DPO 利用 KL 正则化奖励最大化问题的关系，把偏好学习写成直接针对策略的分类式目标，减少训练流程中的独立组件。

关键机制

对同一提示 x 的胜者 y_w 与败者 y_l，比较当前策略相对于参考策略的对数概率比。提高胜者的相对优势，不需要先训练一个单独的标量奖励网络。这依赖论文中的偏好模型与优化推导；并不意味着无需偏好数据或参考策略。

L_DPO = −log σ(β{log[π(y_w|x)/π_ref(y_w|x)] − log[π(y_l|x)/π_ref(y_l|x)]})

算例与证据

若胜者相对参考策略的比值为 2、败者为 1，括号中的优势为 log 2；反过来则为 −log 2。目标鼓励区分偏好对，不保证答案绝对概率上升，也不是对事实真假的直接判别。

收益之外的新约束

离线偏好覆盖不到的新策略行为仍可能出错。噪声偏好、长度偏差、β 和参考策略选择都会影响结果。Meta 披露 Llama 3.1 使用 SFT 与 DPO，不说明所有公司的后训练都采用这条路线。