可验证奖励怎样塑造推理行为？

问题从哪里来

示范微调受限于可用的优质推理轨迹。在数学答案可核验、代码可测试的部分任务中，结果反馈能提供强化学习信号，让模型通过采样与更新调整求解行为。奖励仍只覆盖验证器能够检查的部分。

关键机制

R1-Zero 探索了不先做 SFT 的直接 RL；R1 则采用冷启动数据和多阶段训练，不能把两者混为同一配方。GRPO 用同一问题一组候选的相对奖励构造优势估计，配合策略约束更新；最终答案奖励并不逐步证明推理过程正确。

Âᵢ ≈ (rᵢ − mean(r_group)) / std(r_group)

算例与证据

教学算例：四个候选奖励 [0,0,1,1]，相对优势将正确候选与错误候选分开；若整组同分则没有这种区分信号，实现需处理零方差。OpenAI o1 公开了推理 RL 方向，但不能据此断言它采用同一奖励和算法。

收益之外的新约束

验证器可能被绕过，测试用例可能不完整，容易验证的任务也不代表所有开放问题。要同时检查泛化、可读性、长度成本和奖励漏洞，不把生成更长解释直接当成推理能力提升。