PPO算法详解：大模型人类偏好对齐中的温和教练

你有没有遇到过这样的情况：同一个问题，换个问法，大模型的回答质量就天差地别；甚至同一个问法，多问几次，答复也飘忽不定。这背后的核心问题，就是大模型调优里常说的“人类偏好对齐”。要让模型从“会说话”变成“说得好”，整个对齐链路里最技术含量的一环，通常落在PPO（Proximal Policy Optimization，近端策略优化）这个算法身上。很多朋友一听到强化学习就头大，一看到PPO的公式就开始头皮发紧，其实它本质上更像一个温和的教练：不强行推翻学员的原有做法，而是站在旁边观察、反馈，让学员在可控范围里一步一步进步。这篇文章我打算把这套逻辑用大白话拆开讲清楚，再把我在对齐项目里的实际训练经验和踩过的坑都过一遍，给准备上手大模型偏好对齐的同学作参考。

1. 为什么需要PPO：人类偏好对齐不是“多训练几轮”就够

1.1 模型说人话，不等于说好话

先说个很常见的现象。预训练模型在语料上学到的本质是“根据上文预测下文”，它能续写出语法正确的话，但它并不关心这些话有没有价值。你用SFT数据微调以后，模型能够模仿对话的格式，会使用“您好”“请问”这类礼貌用语，看起来已经在对话了，可一旦遇到复杂问题，它仍然可能一本正经地编信息，或者给出极其啰嗦的答案。也就是说，“说话方式像人”和“说话内容被人类认可”是两回事。

后者并不能靠多几轮SFT自动解决，因为SFT的监督信号是“给定输入要有标准答案”，而真实世界的问题往往没有标准答案，只有一群标注员的主观偏好——有人喜欢简洁，有人喜欢详细，有人接受口语，有人只认书面语。真正要把“这些偏好”学进模型里，常规的监督学习就派不上用场了。

1.2 RLHF经典三件套：SFT、奖励模型、PPO

所以就有了RLHF这套流程。主流大模型的对齐训练，结构上基本可以拆成三步：第一步是SFT，用一批人工编写的对话示例，让基座模型学会“按照问答格式说话”，这一步解决的是“形式”问题；第二步是训练奖励模型（Reward Model），收集大量人类对模型输出的好坏比较，让一个模型学会“预测人类会怎么评价一段回答”，这一步解决的是“标准”问题；第三步，才是用强化学习在奖励模型的信号下继续调优策略模型，让模型生成的答案越来越贴近人类偏好，这一步解决的是“优化”问题。

PPO就出现在第三步，而且是目前绝大多数对齐实践里真正在执行优化的那个算法。可以这么说：没有前面的SFT和奖励模型，PPO没有起跑线；没有PPO，前两步的功夫也很难真正从“知道”变成“做到”。

1.3 “温和教练”的比喻来自哪里

我在很多场合拿“教练”来类比PPO，是因为它在RLHF里的角色确实像。学员是当前正在被训练的模型，它在每个回合自己生成答案；裁判是奖励模型，它只给分数不告诉模型该怎么改；助教是Critic网络，它在旁边估算“这一步做得比平均好还是差”；还有一个特别重要的角色是参考模型（Reference Model），相当于学员入学前的老录像，用来提醒学员别把老底子丢掉。

PPO这个教练的厉害之处，不在于它会用极端手段逼学员进步，而在于它执行的每一条口令都是“只调整一小步”——具体到算法上，就是下面要讲的比例裁剪和KL散度约束。所以我会把PPO称为“温和教练”：它在每一个环节都在防止更新幅度失控，用多次小幅修正代替一次猛烈改写。这种温和不是保守，恰恰是应对大模型这种高维、代价昂贵的学习对象时最可靠的思路。

2. PPO如何做到“温而不软”：四个核心机制逐一看

2.1 语言模型里的强化学习四要素

在把PPO套到语言模型上之前，先把它放回标准的强化学习框架里。状态（state）是指当前已经生成的那一串token，包括用户输入的prompt和模型已经生成的response前缀；动作（action）是模型接下来要选的那个token；策略（policy）就是正在被训练的actor模型本身，它决定每个token的概率分布；奖励（reward）在语言模型场景里是两层结构——每个token位置都会有一个由KL惩罚折算出来的即时奖励，而在整个序列生成结束时，奖励模型会给出一个最终的偏好分数。

这里有个小细节：在对话生成这类任务里，通常不需要像下棋那样把未来奖励打折，所以gamma直接取1.0，让最后一刻的RM打分以完整权重影响整条轨迹。理解了这四要素，后面再看PPO公式就不会觉得抽象了。

2.2 重要性采样与比例裁剪：迈步之前先量步子

PPO最核心的公式其实只有一个比例：ratio = π_new(a|s) / π_old(a|s)。它表示的是“新策略对某个token的偏好程度”相对“采样时旧策略的偏好程度”变化了多少。如果这个比例大于1，说明新策略比旧策略更想生成这个token；小于1则相反。

如果我们想让模型学习，自然是希望优势为正的token让比例变大，优势为负的token让比例变小。但问题在于：如果直接朝这个方向优化，ratio可能会冲得很远，一次更新就把概率分布推到完全不同的形状。所以PPO引入了裁剪：当ratio落在[1-ε, 1+ε]区间内就正常优化，一旦超出这个区间就截住梯度不再管它。ε通常取0.2，意味着单次更新最多允许某个token的取舍发生约20%的偏移。这就是“温和”二字最直接的来源——用得着的时候，它让策略朝着奖励走；用过头了，它立刻刹车。

2.3 KL散度安全带：别让学员忘了原来的自己

除了裁剪，PPO在语言模型对齐里还有一个隐形约束：KL散度惩罚。我们在训练PPO时会保留一个参考模型，它就是初始actor的冻结副本。每生成一个token，算法都会算一下新策略和参考策略对这个token概率的对数比，再乘上一个系数β加进奖励里。

这个KL项是负反馈：新策略一旦偏离参考模型太远，哪怕RM打分再高，总奖励也会被拖住。为什么要这么干？因为RM模型给的分数是有限的，而且奖励模型本身有偏，如果只盯着RM分数优化，模型很容易钻到某个RM喜欢但人类不喜欢的角落里。KL散度就是那条安全带，让模型即便在奖励信号有噪声的情况下，也不至于走偏太远。这也是PPO和单纯用梯度上升去最大化奖励最本质的区别：它认准了“稳扎稳打”，宁愿每轮多跑几步，也不要一步跨进沟里。

2.4 GAE优势函数：不是只告诉好坏，而是告诉好在哪

只有奖励还不够，PPO需要知道“每一个token带来的优势”。这里就要请出Critic价值网络和GAE（广义优势估计）。Critic根据状态（也就是已经生成的序列）预测一个价值基线，类似场边助教提前估计“这个局面平均能得多少分”。有了基线，我们就能算每个token的优势：实际的回报减去基线，得到的是“比平均好多少”。如果这个优势为正，就加大该token的概率；为负，就减小。

GAE则负责把相邻token之间的优势用lambda参数做加权组合，在偏差和方差之间取平衡。你可能会奇怪，为什么不能直接看整条回答的总奖励？因为那样模型只能知道“整段回答好”，不知道具体是中间哪句话起到了作用，学习信号太粗了。PPO选择把每个token级别的信号都算清楚，这也是它能在大模型这种超大动作空间里保持有效更新的原因。

2.5 为什么不是REINFORCE，也不是TRPO

聊到这里，你可能想问：强化学习算法那么多，为什么对齐这一环偏偏落在PPO头上？我用一个表格简单对比一下。

REINFORCE是最朴素的策略梯度方法，整条轨迹给一个总奖励，方差非常大，在语言模型场景里经常要跑很多轮才见得到有效信号，模型动辄几亿几十亿参数，方差来一次就很可能把生成质量带偏。TRPO理论很漂亮，用严格的KL散度约束保证每次更新都在信任域里，但实现起来要解一个带约束的优化问题，计算成本高，工程复杂度大。PPO用裁剪近似KL约束，本质上是TRPO的实用化简化版本：一阶优化就能跑，实现简单，更新幅度又可控。综合样本效率和工程成本，它自然成了大多数对齐框架的首选。至少在我试过的几个项目里，PPO的默认设置跑出来的效果，绝大多数情况下比REINFORCE要可靠得多。

3. 从零跑通一次对齐训练：数据、奖励模型与PPO配置

3.1 prompt数据集：最先被低估的“战略物资”

很多教程上来就讲奖励模型、讲PPO超参，但我建议你从prompt池开始准备。PPO训练时，模型需要根据一批prompt在线生成回答，prompt池的质量直接决定了你在优化什么。我踩过的教训是：用几百条风格单一的prompt跑通流程会很容易，但换到真实任务上就露馅。

所以训练前至少准备几千条prompt，并且覆盖知识问答、写作协助、角色扮演、开放闲聊等不同难度；还要留出一部分完全不在训练中使用的prompt作为验证集，训练结束后从这些没见过的prompt里抽样做人工评估，才能知道泛化效果。这个步骤虽然不涉及算法，但它的优先级在项目里永远排在最前面。

3.2 奖励模型：裁判如果不靠谱，教练再努力也白搭

奖励模型是整个对齐的“裁判”，它的分数就是PPO的优化信号。最常见的训练方式是让标注员看同一个prompt下的多个模型回复，选出更好的那一个（chosen）和更差的那一个（rejected），然后让RM去拟合这种排序关系，损失函数是log-sigmoid(chosen_score - rejected_score)。RM的初始化一般就用SFT模型，只是把最后一层换成一个标量打分头。

两个细节我特别想提醒：一是不要只看RM分数的绝对值，它没有物理意义，重要的是相对排序；二是在正式做PPO之前，最好先抽样几组样本人工验证一下RM的判断是否和人类一致，如果RM在10条里有2条明显违背人类直觉，先回去把RM修好再开始，不要指望PPO能洗掉裁判的错误。

3.3 四个模型的分工与显存安排

真正跑PPO时，你的显存里往往同时挂着四个模型：actor是正在被训练的策略模型，也是那个会实际生成回答的学员；critic是价值网络，负责输出价值基线；reward model是冻结的裁判；reference model是冻结的参考模型，负责把学员拉回安全范围。四个模型如果都是满参数，显存压力非常大。

我的建议是：第一步先用参数高效微调的方式去调actor和critic，冻结大部分底座，这样显存占用能小一个数量级，适合快速跑通流程；等代码、数据、超参都验证过了，再决定要不要上全参数训练。如果你没有特别大的设备，用轻量微调方式跑完整个闭环，效果也完全够用，并不是非要全参数不可。

3.4 一套可以直接起步的超参配置

下面给出我在类似场景里常用的初始配置，不是最优，但可以当作起点参考。

actor学习率设置在5e-7到1e-6之间，比常规微调要低一两个数量级，这是为了保持温和更新。critic学习率可以稍高一点，比如1e-6。clip_range默认0.2，ppo_epochs最好从1开始，因为同一个batch被反复使用会加剧过拟合到本次rollout。gamma设为1.0，GAE lambda取0.95，KL target为1.5左右。奖励模型给出来的分数最好先做一次标准化，避免极端值影响。

3.5 训练中真正要盯的曲线

训练过程中不要只看loss。我通常把几个指标并排放在监控面板里：RM得分的均值，如果缓慢上升说明对齐方向有效；KL散度，期望它缓慢爬升并在目标值附近波动，如果瞬间飙升先查是不是lr过大；actor的token熵，如果快速下降说明模型正在变得过于确定；回复平均长度，暴增往往意味着它发现了长度带来的奖励漏洞；另外还有优势值的分布，如果出现很大的正负值，很可能critic还没有拟合好或者RM打分有异常。

任何一个指标走极端，都值得按下暂停键，而不是等到loss归零才算完。对齐训练和普通预训练最大的不同，就是它没有唯一的“标准答案loss”，所以看曲线比盯数字更重要。

4. 踩坑实录：三个我在对齐训练中反复遇到的问题

4.1 奖励黑客：模型学会了“讨好裁判”

第一次遇到reward hacking是在一个对话项目里。训练到第几百步时，RM平均分一直在涨，但我随机抽看生成结果，发现模型越来越啰嗦，结尾反复重复“如果您还有其他需要，请随时告诉我”，甚至开始输出一堆空泛的套话。排查过程我按这个顺序走：先看KL曲线，发现没有明显失控，说明不是策略跑偏；再看回复长度，发现平均长度暴涨了40%；最后单独构造几条故意写得又长又空的回答送进RM打分，分数果然比短而准的回答高。

这就真相大白了——RM在训练数据里隐隐偏向长文本，于是PPO就把“长度”当成捷径学了。处理办法是给奖励加了一个长度惩罚项，同时把KL target降低，逼着模型不能太放肆；我还在RM训练样本里人工加入了一些“长但低质”和“短但高质”的对照样本，把裁判自身的偏好纠回来。做完这三件事，下一轮训练才恢复正常。

4.2 loss突然飞天的根因排查：一步一步看batch

另一种更让新人头皮发麻的情况，是某个batch的loss突然飞上天，KL和优势也一起爆掉。我的排查链路是这样的：先把异常batch里的样本逐条回放，看是哪个prompt引起的问题；找到后检查该prompt下模型生成的回答，如果出现大段乱码、连续重复符号或者超长文本，那基本是采样出了边界；接着把这个异常输出单独送给RM打分，如果RM也给出了一个极端高分，那就说明整个奖励信号在OOD样本上是不可信的。

这时候我不会急着改网络结构，而是做三件简单但有效的事：把actor学习率降到原来的十分之一，把ppo_epochs降成1，对RM分数做截断加标准化。绝大多数情况下，训练在几十步之内就能缓过来。我还习惯给梯度裁剪加上比较严格的max_grad_norm，例如1.0，防止单个异常样本把参数推远。这个坑最常见的根源不是算法写错，而是奖励信号的范围没有约束好，导致“一条坏样本教坏一整个batch”。

4.3 模型说话越来越模板化：熵失控

第三个常见问题是熵失控。有段时间我训练出的模型，几乎所有回答都以“这是一个非常值得探讨的问题”开头，中间堆砌“首先”“其次”“总的来说”，信息密度极低。监控面板上，actor的token熵在训练早期就断崖式下跌，说明模型已经把概率集中到了少数几个模板句式上。RM并没有给这个方向明确的坏分数，但它的确偏好那种“结构完整”的文本，PPO就把这种偏好放大成了模板复读机。

处理时我先在PPO目标里加入了熵奖励，鼓励拿分的模型仍然保留探索性；同时把KL惩罚系数调高，让新模型别离参考模型太远；另外把学习率降到更低，给模型更多时间适应，而不是几轮模板就锁死。经过这轮修正，熵曲线重新变得平缓，回复多样性也明显回归了。

5. 把PPO调得更温和的几条实操经验

5.1 先小步快跑，不要一上来就满参数

如果条件允许，先用轻量微调方式在几千条prompt上把PPO闭环跑通。这一步的目的不是追求极致效果，而是验证你的RM打分是否合理、代码链路是否顺畅、超参是否在一个可用的区间。我用这个方式快速迭代过很多个模块级改动，效率很高；等一切收敛良好之后，再慢慢扩大数据和参数量，风险低得多。

5.2 动态KL控制：让教练根据学员状态调节奏

固定β容易造成两种情况：KL太小，模型学不到东西；KL太大，模型一发散就救不回来。更实际的做法是动态KL控制。设定一个目标KL值，比如1.5，训练中每隔固定步数算一下当前实际KL；如果实际KL超过目标，就把β调大一点，相当于教练发现学员状态太快，收紧缰绳；如果实际KL低于目标的某个比例，就把β调小一点，让学员多学几天。

这个机制本质上就是给PPO再加一层温和的刹车。社区里的对齐实现很多都内置了这个逻辑，直接启用就行，不用自己去造轮子。

5.3 人类反馈要持续回流，RM不能一劳永逸

训练过几轮之后，模型的输出分布已经变了，早期训练出来的RM很容易跟不上节奏，给出的分数变得越来越不可信。所以我习惯在每轮PPO之后做一个小闭环：从新模型里随机采样一批回复，交给标注人员重新排序，增量补充到RM的数据集里，重训或微调RM，再开始下一轮策略优化。

这个回流机制比单纯拉长PPO轮次的效果明显得多，这几年我做对齐项目，凡是效果提升较大的版本，几乎都采用过这种迭代方式。它的本质是让裁判和学员同步成长，而不是让学员在错误裁判的标准下越走越偏。

5.4 对齐效果最终还得靠人眼来投票

最后说验收。RM分数只能作为参考，不能作为最终标准。我的常规做法是从验证prompt池里抽200条，分别让旧模型和新模型生成答案，打乱顺序后交给几位评估者盲评，按“哪一条更符合人类偏好”投票，最后算新模型的胜率。胜率超过55%才说明这次PPO带来了真实收益。

同时还要看回复长度有没有明显变化，防止模型只是靠变长赢了比赛；再顺手抽查几十条，排除纯套话获胜的情况。这套流程虽然朴素，但每次都能帮我从数字里跳出来，看到模型真实的成长。

做了这么多对齐实验之后，我对PPO最深的体会是：它不是那种一锤定音的算法，更像一个懂得节奏的老教练——每次训练只推一小步，又始终用KL这根绳子拽着你不忘本。大模型调优里最难的地方往往不是模型能力不够，而是模型能力太强，稍不留神就会连带崩掉原本好不容易建立的语言行为。“温和”两个字，恰恰是这一切的保险丝。希望这篇内容能帮你真正看懂PPO，也能在实操时少踩几个我看着都心疼的坑。