1. 从PPO到GRPO为什么需要重新理解奖励与优势如果你最近在折腾大模型的对齐训练大概率绕不开GRPO这个词。我第一次接触它是在复现一个数学推理的强化学习流程时当时脑子里全是PPO那一套策略网络、价值网络、广义优势估计、裁剪目标函数。结果翻到GRPO的论文第一反应是——价值网络去哪了这就是GRPO最核心的改动它把价值模型Critic整个拿掉了。在传统的PPO流程里我们需要一个和策略模型参数量相当的Critic来估计状态价值V(s)然后用它计算优势。但在大模型场景下训练一个和策略同规模的价值网络显存和算力开销几乎翻倍而且价值估计本身在长序列、稀疏奖励的任务里极不稳定。GRPO的做法很直接既然一个prompt会采样出一组回答那我就用这组回答的奖励统计量来当基线替代Critic的工作。这个思路听起来简单但它直接改变了奖励值和优势值的计算方式也改变了整个训练流程的工程实现。很多人第一次看GRPO的公式会觉得这不就是把PPO的GAE换成了组内归一化吗但真正上手跑起来才会发现奖励的设计、组大小的选择、优势归一化的细节每一步都有坑。这篇内容我就围绕奖励值和优势值这两条主线把GRPO从原理到实操拆开讲清楚适合已经了解PPO基础、想搞明白GRPO到底怎么落地的人。先说结论GRPO里奖励值决定了什么方向是对的优势值决定了每个token该往哪个方向更新多少。前者是信号源后者是放大器。搞混这两者的职责训练大概率会崩。2. GRPO的奖励值设计从规则函数到奖励模型的取舍2.1 奖励值在GRPO里到底扮演什么角色在GRPO的框架里奖励值不是逐token给出的而是对整个生成序列给出一个标量分数。这一点和很多人的直觉不同。PPO在部分实现里会做token-level的奖励塑形但GRPO的标准流程是一个prompt采样G个回答每个回答经过奖励函数得到一个分数然后这G个分数在组内做归一化得到每个回答的相对优势。这意味着奖励函数的设计直接决定了训练信号的质量。如果奖励函数给出的分数区分度不够组内归一化之后所有优势都接近零梯度就消失了。我踩过的第一个坑就是用了一个输出范围在0.9到1.0之间的奖励模型结果组内归一化后优势值全在正负0.05之间晃训练了三天loss几乎不动。所以奖励值的设计要满足两个条件一是区分度足够大二是和任务目标真正对齐。区分度是工程问题对齐是设计问题。2.2 规则奖励与模型奖励的混合策略GRPO在数学推理、代码生成这类任务上最常用的奖励是规则奖励。比如数学题答案对给1分错给0分格式正确额外加0.1分。这种奖励的好处是绝对客观、零成本、不会reward hacking。但坏处是稀疏——如果模型一开始就全错那所有回答都是0分组内归一化后优势全是0没有任何学习信号。我的做法是混合奖励规则奖励负责对不对模型奖励负责好不好。具体来说最终奖励 0.8 × 规则奖励 0.2 × 格式奖励 0.1 × 长度惩罚。格式奖励可以用简单的规则判断比如是否包含推理步骤标记、是否以特定格式结尾。长度惩罚是为了防止模型通过堆砌废话来碰运气。这里有个细节值得展开奖励的尺度要统一。如果你用了一个输出范围0到10的奖励模型又用了一个0到1的规则奖励直接相加会导致规则奖励被淹没。我的经验是先把所有奖励分量归一化到相近的量级再按权重相加。下面这个表格是我在数学推理任务上实际用过的奖励配置奖励分量计算方式权重取值范围答案正确性精确匹配最终答案1.00 或 1格式合规性是否包含指定推理标记0.20 或 1长度惩罚超出目标长度按比例扣分-0.1-1 到 0重复惩罚检测n-gram重复率-0.15-1 到 0这套配置在我实测中比较稳但要注意长度惩罚的系数不能太大否则模型会学会输出极短的错误答案来规避惩罚。2.3 奖励模型的训练与校准如果你要用模型奖励那奖励模型本身的训练质量就是天花板。我见过太多人直接拿一个开源的reward model就用结果训练出来的策略模型学会了输出看起来很好但实际很烂的内容。奖励模型的校准比训练更重要。校准的核心是消除位置偏差和长度偏差。位置偏差指的是奖励模型倾向于给某个位置的回答更高分长度偏差指的是倾向于给更长或更短的回答更高分。我的做法是构造一批配对样本同一问题的两个回答只有长度不同然后检查奖励模型是否给出系统性偏差。如果存在就用这批数据对奖励模型做几轮微调把偏差压下去。另一个实操技巧是奖励模型的输出要做温度缩放。很多奖励模型的输出logits范围很窄直接当奖励用区分度不够。我会在验证集上拟合一个温度参数T让奖励分布的标准差达到一个合理值比如0.5左右这样组内归一化后的优势才有足够的动态范围。3. 优势值计算组内归一化的数学细节与工程陷阱3.1 从GAE到组内归一化的本质变化PPO里的优势估计用的是GAE它依赖价值网络对每个状态的价值估计然后做时序差分。GRPO完全绕开了这条路它的优势计算可以概括为同一个prompt下的G个回答每个回答的奖励减去组内均值再除以组内标准差。用公式表示就是对于第i个回答优势A_i (r_i - mean(r)) / std(r)。这个值直接作为整个序列的优势然后广播到每个token上用于计算策略梯度。这个变化带来的最大好处是不需要训练价值网络省掉了大量显存和计算。但代价是优势的估计完全依赖于组内样本的统计量。如果组大小G太小均值和标准差的估计就不稳定优势值会抖动得很厉害。我试过G4的情况训练曲线像心电图一样根本没法收敛。后来调到G8才勉强稳定G16就比较顺滑了。3.2 组大小G的选择与显存权衡G的选择是一个典型的工程权衡。G越大优势估计越准但每个prompt需要采样的回答数就越多显存和计算开销线性增长。在单卡80G的配置下如果模型是7B级别序列长度2048G8大概能跑起来G16就需要梯度累积或者模型并行。我的经验值是G至少为8推荐16。如果任务特别难模型初始正确率极低那G还要更大因为你需要足够多的样本才能碰到一两个正奖励的回答否则组内全是0分优势全零。这种情况下可以考虑动态组大小先采样一批如果正奖励样本数少于2个就继续采样直到满足条件或达到上限。还有一个容易被忽略的点组内归一化时标准差的计算方式。如果直接用有偏估计除以G当G较小时会低估标准差导致优势值偏大。我一般用无偏估计除以G-1虽然差别不大但在G8这种量级下还是有影响的。另外如果组内所有奖励相同标准差为0这时候要加一个极小值eps防止除零同时把优势置零因为这种情况下确实没有学习信号。3.3 优势值的裁剪与白化组内归一化之后优势值的范围理论上在负无穷到正无穷之间但实际中大部分值在-3到3之间。偶尔会出现极端值比如某个回答奖励特别高归一化后优势达到5以上。这种极端优势会导致策略更新步长过大训练不稳定。我的做法是对优势值做裁剪把范围限制在[-3, 3]或者[-5, 5]。这个裁剪阈值不是拍脑袋定的而是根据奖励分布来。如果奖励分布近似正态那99.7%的值在3个标准差内裁剪到3基本不影响正常样本只挡住极端值。另一个技巧是优势白化也就是在batch维度上再做一次归一化让整个batch的优势均值为0、方差为1。这能进一步稳定训练尤其是在不同prompt的奖励尺度差异很大时。但要注意白化是在组内归一化之后做的顺序不能反。4. 奖励与优势的联动训练动态中的常见故障4.1 奖励饱和与优势消失训练进行到一定阶段后模型对大部分prompt都能给出正确答案这时候组内奖励全是1标准差为0优势全零梯度消失。这不是bug而是任务太简单了。解决办法是动态调整任务难度比如从题库里采样时优先选模型当前正确率在30%到70%之间的题目。我实现过一个简单的难度调度器维护每个题目的历史正确率每次采样时按正确率倒数的权重来选。这样模型始终在跳一跳够得着的区域训练优势值始终有区分度。4.2 奖励黑客与优势异常放大奖励黑客是强化学习的老问题。在GRPO里如果奖励函数有漏洞模型会找到漏洞并放大。比如格式奖励如果只看是否包含某个标记模型就会在所有回答里都塞这个标记哪怕内容毫无意义。这时候优势值会异常放大因为模型发现了一个稳赚不赔的策略。我的排查方法是定期人工检查高优势样本。具体来说每个训练周期结束后把优势值最高的前20个回答打印出来看。如果发现明显的模式化作弊就说明奖励函数需要修补。这个习惯帮我抓到了好几次奖励漏洞比如模型学会了在答案里重复题目中的数字来碰运气。4.3 组内奖励分布的可视化监控训练过程中我必看的一个指标是组内奖励分布。具体来说每个batch里每个prompt的G个回答的奖励标准差以及正奖励的比例。如果发现大量组的正奖励比例为0说明任务太难如果大量组的正奖励比例为1说明任务太简单如果标准差普遍低于0.1说明奖励区分度不够。这些指标比loss曲线更能反映训练健康度。我一般用TensorBoard或者WandB记录这些分布每100步看一眼。下面是一个典型的健康训练曲线特征指标健康范围异常含义组内正奖励比例0.2 - 0.8过低任务太难过高任务太简单组内奖励标准差0.3 - 0.7过低区分度不足过高可能有不稳定样本优势值绝对值均值0.5 - 1.5过低梯度消失过高更新过猛策略熵缓慢下降下降过快说明过早收敛5. 实操中的参数配置与调试经验5.1 学习率与KL系数的联合调参GRPO通常会在策略梯度里加一个KL惩罚项防止策略偏离参考模型太远。KL系数和学习率是一对需要联合调整的参数。我的经验是学习率越小KL系数可以越小。如果学习率是1e-6KL系数0.01到0.04就够了如果学习率是5e-6KL系数要加到0.1左右。调参的顺序是先固定KL系数为0.04调学习率观察策略熵和奖励曲线。如果奖励上升但熵下降太快说明学习率太大如果奖励不动但熵稳定说明学习率太小。找到合适的学习率后再微调KL系数让策略熵缓慢下降而不是骤降。5.2 梯度累积与组大小的配合当显存不够时梯度累积是常用手段。但GRPO里有个坑组内归一化必须在同一个batch内完成。如果你把一个prompt的G个回答拆到不同的梯度累积步里那归一化就错了。所以梯度累积的维度只能是prompt维度不能是组内维度。我的做法是一个梯度累积步处理一个prompt的全部G个回答然后累积多个prompt的梯度再更新。这样组内归一化始终在完整组内进行不会出错。5.3 参考模型的更新策略GRPO里的参考模型通常是SFT模型用来计算KL惩罚。参考模型要不要更新我的经验是不要频繁更新。如果参考模型更新太快KL惩罚就失去了约束意义策略会漂移。我一般每500到1000步才把参考模型同步一次或者干脆不更新只用初始SFT模型。但有一种情况需要更新如果SFT模型本身能力有限策略很快就能超过它那KL惩罚会一直很大阻碍学习。这时候可以适当更新参考模型但更新频率要低且每次更新后要重新观察KL散度的变化。6. 一个完整的奖励与优势计算流程复盘6.1 从采样到优势的完整链路我把整个流程串一遍方便你对照自己的实现。假设一个batch有B个prompt每个prompt采样G个回答对每个prompt用当前策略模型采样G个回答记录每个token的log概率。对每个回答用奖励函数计算标量奖励r。对每个prompt的G个奖励计算均值和标准差做组内归一化得到优势A。对优势做裁剪和白化。用优势乘以每个token的log概率计算策略梯度。加上KL惩罚项反向传播更新。这个链路里最容易出错的是第3步和第4步。组内归一化时要注意标准差的计算方式白化时要注意是在整个batch上做还是每个prompt单独做。我的做法是组内归一化后再在整个batch上做一次白化这样既保留了组内相对关系又统一了不同prompt的尺度。6.2 常见报错与排查清单训练GRPO时我遇到过几类典型报错列出来供你参考优势全零检查奖励函数是否有区分度检查组内是否所有奖励相同。loss突然爆炸检查优势值是否有极端值检查学习率是否过大检查KL系数是否过小。奖励上升但人工评估下降典型的奖励黑客检查奖励函数漏洞检查高优势样本。显存溢出减小G或序列长度开启梯度检查点使用梯度累积。训练速度极慢检查是否在每个step都重新计算参考模型的log概率这个可以缓存。6.3 从零实现时的最小验证方案如果你要自己实现GRPO我建议先做一个最小验证用一个极简的任务比如让模型输出指定格式的字符串奖励就是格式匹配度。G设为4模型用一个小模型比如0.5B跑100步看奖励是否上升。这个最小方案能帮你快速验证奖励和优势的计算链路是否正确避免在大模型上浪费时间调试。验证通过后再逐步增加任务难度和模型规模。我自己的经验是最小验证能抓到80%的实现bug剩下的20%通常和数值稳定性有关需要在大模型上才能暴露。7. 一些个人体会GRPO最吸引我的地方是它把强化学习里最玄学的部分——价值估计——用组内统计量替代了。这让整个训练流程更透明也更容易调试。但代价是奖励函数的设计变得极其关键因为优势值完全由奖励驱动奖励设计不好优势就是噪声。我在实际项目里最大的体会是花在奖励函数设计上的时间应该和花在模型训练上的时间一样多。一个精心设计的奖励函数能让GRPO在很少的步数内收敛一个粗糙的奖励函数跑再久也是白费。另外组大小G不要抠门显存不够就减模型规模或者序列长度G太小带来的训练不稳定后期调参的时间成本远高于省下的那点显存。最后分享一个我常用的调试技巧把每个batch里优势值最大的前5个回答和最小的后5个回答打印出来人工读一遍。这比看任何曲线都直观能快速发现奖励函数的问题和模型的异常行为。这个习惯我保持了很长时间帮我省下了大量盲目调参的时间。