很多人把大模型的调优当成黑魔法，但在我看来，基于人类反馈的强化学习框架（RLHF&PPO）是当前把“人类偏好”注入模型最成体系的一条路。最开始我只当它是学术界刷榜的工具，直到自己在真实项目里踩完一遍，才意识到这套流程解决的问题、暴露的坑、以及代码里那些看似不起眼的细节，远比论文里的公式更复杂。
这篇文章不写综述，也不堆工程文档，就按我自己实操的顺序讲：为什么需要 RLHF、奖励模型怎么训、PPO 在其中的角色、一段可直接参考的训练代码骨架、以及我实际踩过的坑。适合已经跑通 SFT、准备进一步做对齐的初学者，也适合给看过论文但没上过手的人做一个“翻译版”的落地参考。
1. 预训练模型为什么需要“教说话”：对齐问题的本质
1.1 预训练任务只教了“会”，没教“好”
拿一个典型的基座模型来说，它的预训练目标极其单一：根据前文预测下一个 token。这个目标让模型掌握了庞大的知识、语法和逻辑模式，但它对“什么回答算好”完全没有概念。
我做过一个实验：用同一个基座模型直接去回答“如何完成一份季度汇报”，它会洋洋洒洒写两千字，结构工整但废话极多；换一个涉及禁忌话题的问法，它可能一本正经给出建议。这就是对齐缺失的典型表现——模型懂得生成，但不懂得在真实交互里应该生成什么。
RLHF 要解决的，就是给模型补上“价值判断”这一层。过程中人类反馈充当老师，模型通过强化学习不断调整自己的策略分布，让最终输出更接近人觉得“有用、无害、诚实”的方向。
1.2 为什么单靠 SFT 不够
很多人会问：既然已经有了监督微调（SFT），为什么还要再折腾强化学习？
SFT 本质上是在“模仿”标注数据。它能解决风格问题，比如让模型学会用 markdown、学会礼貌表达，但它很难处理偏好中的排序关系：同一道题，两个答案都语法正确，一个更简洁，一个更详尽，很多时候没有绝对对错，只有相对偏好。标注员可以给 1-7 分，但分数本身是主观的、非均匀的，SFT 拿这些标签训练时会把随机噪声当成确定标准，越训越钝。
另外 SFT 的覆盖也有限。你很难准备足够的标注数据覆盖所有边界情况，但 RLHF 可以靠奖励模型的连续反馈，在离线策略空间里不断试探，从而泛化到没见过的边界条件。这也是为什么业界普遍认为，SFT 负责“学会形态”，RLHF 负责“学会判断”。
1.3 一条完整的 RLHF 工作链
说到这里，先给一个总览，后面所有章节都是围绕它展开：
- 准备一个已经 SFT 过的基座模型（后面称 actor）。
- 构造偏好数据：人类对同一个 prompt 的多个回答进行排序。
- 用偏好对训练一个奖励模型（reward model，下面简称 RM）。
- 冻结 RM，把 actor 当作策略网络，用 PPO 算法优化它的生成策略，让 RM 打分尽量高。
- 为了防止策略跑偏，引入参考模型（reference model），约束 actor 的输出不要离参考模型太远。
这条链看着不复杂，但每步串联时的细节特别多，尤其是第 4 步的 PPO，几乎决定了最终效果的上限。
2. 奖励模型：人类反馈变成数字的关键一步
2.1 偏好数据长什么样
奖励模型的训练数据，不是传统的“输入—标签”，而是偏好对。
实际操作时，我一般这样构造样本：取出一个 prompt，让 actor 或人类各生成两个回答 A 和 B，再让标注员判断“A 好还是 B 好”，也可能出现“差不多”的情况。真正进入训练时，我会把这种比较转换成二分类信号：一个回答作为 chosen，另一个作为 rejected。
这里有个和直觉不太一样的地方：奖励模型不是给回答单独打分，而是输入(prompt, response)，输出一个标量 reward。判断好坏时用相对差，而不是绝对值。这样标注的一致性能提高不少，因为多数人更容易判断“哪个更好”，而不是“这个给几分”。
2.2 用 Bradley-Terry 模型拟合偏好
奖励模型可以是一个初始化和 actor 一样的 transformer，但最后一层改成回归头，输出一个数值 reward。训练时最常用的是 Bradley-Terry 模型，核心思想是：一个 prompt 下，chosen 回答的 reward 应尽量高于 rejected 的 reward。
对应的 loss 一般写成：
loss = -log(sigmoid(r(chosen) - r(rejected)))
这其实就是一个二分类交叉熵：让两个回答的 reward 差值变大，正确方向为 chosen 大于 rejected。梯度回传时，chosen 的 reward 被拉高，rejected 的 reward 被压低。
我开始跑这个模块时总觉得太简单，后来才意识到陷阱在数据质量上。如果标注员只看了前几十个 token 就下判断，或者两个回答长度差异悬殊导致位置偏差，RM 会学到“长回答分数更高”这种错误暗示。所以我加了两个修正：控制对比样本的长度差在 20% 以内；每批数据里混入一部分前向 logprob 差异明显的样本，避免模型偷懒只看长度。
2.3 奖励模型本身的“过拟合”风险
奖励模型是引导策略优化的信号源，它的质量直接决定 RLHF 能否收敛。我自己过拟合得最狠的一次，loss 已经降到 0.1 以内，看起来训练完美，但拿到后续 PPO 阶段，策略模型立刻学会用一堆“我很抱歉，但作为 AI……”的话术刷分。
原因是奖励模型把所有道歉句式都当成了高分特征，策略模型只要生成这类句式就能拿高分。这就像考试老师只喜欢某种字体，学生就开始疯狂练字。
缓解办法有两个：一是偏好数据里刻意加入“为拒绝而道歉”和“直接拒绝但提供替代方案”的对比，让 RM 学到实质帮助更重要；二是在 RM 训练阶段做早停，不看训练 loss，而是在一个固定的 validation 偏好集上看预测准确率。准确率开始下降但训练 loss 还在降时，基本就是过拟合，直接踩刹车。
3. PPO 在 RLHF 里的不可替代性
3.1 RLHF 为什么是强化学习，而不是简单梯度上升
有了奖励模型之后，最直接的想法可能是：对 RM 做梯度上升，让 actor 的生成奖励最大化。
但语言模型是一个自回归生成过程，输出空间极大，RM 对细微修改的梯度和文本的离散性之间的矛盾不可忽略：文本的 token 是离散的，无法端到端地通过 RM 的梯度回传直接更新 actor 的 embedding 层。你只能通过“采样—评估—更新策略概率”的强化学习范式来优化。
这就是 PPO 进入的起点。演员模型按当前策略采样一批回答，奖励模型给出分数，PPO 用这个分数去调整演员模型输出各个 token 的概率。整个过程里，RM 本身不参与概率计算，只当裁判。
3.2 相当简明版本：为什么最终选了策略梯度里的 PPO
策略梯度方法有很多：A2C、A3C、TRPO、PPO。但在 RLHF 场景里，PPO 几乎是默认选项。
- A2C 是同步更新，且对步长敏感，语言模型这种超高维输出问题特别容易崩。
- TRPO 有理论上的单调提升保证，但每个 step 都要算二阶 Hessian，代价太大。
- PPO 用一阶 clip 目标，近似 TRPO 的约束，严重失衡概率更新；计算友好、实现相对简单。
用一句话总结：PPO 在“稳定更新”和“工程可实现性”之间找到了平衡。它允许我们每个 step 只更新一点点，不至于一次采样就把策略推到不可恢复的位置。
3.3 PPO 的核心公式：clip 截断和优势估计
PPO 里最让我印象深刻的不是公式，而是它用重要性采样比来连接旧策略和新策略：
ratio = new_logprob - old_logprob
更新时，希望提高那些优势（advantage）为正的 token 概率，降低优势为负的 token 概率。但直接比率更新容易步子太大，所以加了 clip：
loss = -min(ratio * advantage, clip(ratio, 1-epsilon, 1+epsilon) * advantage)
当 ratio 超出[1-epsilon, 1+epsilon]区间时，这一步的梯度被截住，防止一次更新过猛。实际里 epsilon 我常用 0.2。
优势估计我用的是 GAE（广义优势估计），它解决的是“一个 token 后面对整体奖励的贡献有多少”的分配问题。生成一整段回答后，每个 token 如何分摊最后的奖励，不是简单地把总奖励均匀分配，而是用回合奖励减去价值网络预测的基线，再按时间折扣加权。
价值网络（critic）在 PPO 里承担了“预测期望未来奖励”的任务。训练它的时候，目标函数是让预测的价值接近实际观察到的累计奖励，这和 actor 的更新目标不同，需要单独优化。
3.4 KL 散度约束：防止策略放飞自我
PPO 本身管住“单次更新幅度”，但 RLHF 还需要管住“整个训练过程的漂移”。标准做法是引入一个参考模型（一般是 actor 的初始权重），在每次迭代时计算 actor 输出 logprob 与参考模型输出 logprob 之差，作为 KL 散度惩罚加到目标里。
这样做的现实意义是：如果策略模型为了刷高奖励，开始输出重复、离题、语法错乱的文本，KL 项会把它拉回来，让它“在保留基本表达能力的前提下去优化奖励”。
我在实调里发现，KL 惩罚系数的选取会让结果天差地别。系数太高，模型几乎不变，奖励根本没有上升；系数太低，两三轮迭代后输出就开始退化。经验上起步值可以用 0.05 到 0.1 之间，再监控每轮的平均 KL 值逐步调整，目标是让 KL 缓慢增长而不是暴涨。
4. 从公式到代码：一套可复现的 PPO 训练循环
4.1 四份权重：actor、critic、reward、ref
实际训练时，需要维护四个模型：
- actor：被训练的策略模型，最终要发布的模型。
- critic：价值网络，预测当前状态（已生成前缀）的未来期望奖励，网络结构与 actor 大体相同，但 head 是单维数值。
- reward：人类反馈打分器，全程冻结。
- reference：参考模型，通常就是 actor 的初始状态，全程冻结。
显存紧张时，critic 和 reward 可以用 LoRA 挂在基础模型上，ref 只需要每轮算一次参考 logprob 后缓存结果，不需要一直占用显存。我第一次没做缓存，直接把四个完整模型同时放上显卡，显存直接爆炸，后来学乖了才拆开管理。
一个常见的工程习惯是：先用 actor 的初始权重计算好参考模型的 logprob 并存盘，训练循环里只读不写，省去大量重复前向计算。假设序列长度是 1024，四条 prompt 打分这种操作可以用一个 batch 一次跑完，但 ref 的 logprob 要按 per-token 存下来，因为后续的 KL 损失是按 token 粒度算的。
4.2 经验收集：生成回答 + 打分 + 价值估计
PPO 的第一步是“数据采集”，但采的不是外部数据，而是让 actor 在旧策略下生成回答。
具体流程我通常这样跑：
# 伪代码：单轮经验收集 prompts = get_training_prompts() # actor 在旧权重下生成回答 responses, old_logprobs = actor.sample_and_logprob(prompts) # 获取奖励分数 rewards = reward_model(prompts, responses) # 获取价值基线 values = critic(prompts, responses) # 获取参考模型的logprob ref_logprobs = ref_model.logprob(prompts, responses) # 存入经验缓冲区 buffer.push(prompts, responses, old_logprobs, rewards, values, ref_logprobs)注意old_logprobs必须是用“采样时的旧权重”算的，不能等 actor 更新后再回去算，否则重要性采样的前提就不成立了。很多初学者在这里栽跟头，把 old logprob 和 new logprob 用同一份权重计算，整个 loss 形同虚设。
奖励这里我做了一个小改动：对整句奖励先做一次 normalize。因为不同 batch 中 RM 给的分值分布差异可能很大，直接在 batch 内做 z-score 归一化，能让优势估计稳定很多。
4.3 优势估计和 minibatch 更新
经验缓冲区里一次性存了几百条样本后，开始进入 PPO 的迭代更新。更新通常要跑多个 epoch，但每个 epoch 都要重新算一遍优势，因为 critic 每轮更新后价值预测会变，对应的 advantage 也应该刷新。
这是我实际使用的更新骨架，删掉了工程细节但保留了核心逻辑：
import torch def compute_gae(rewards, values, gamma=1.0, lam=0.95): """ rewards: [seq_len] or [batch, seq_len] values: 价值网络预测值，同一shape 返回每个token的优势估计 """ gae = 0 advantages = [] next_value = 0 # 倒序遍历：从最后一个token向前 for t in reversed(range(len(rewards))): delta = rewards[t] + gamma * next_value - values[t] gae = delta + gamma * lam * gae advantages.insert(0, gae) next_value = values[t] return torch.stack(advantages)上面的delta每一步都在做“实际奖励 — 价值预测”，再加上后面的 GA 递归。gamma在 RLHF 里一般设 1.0，因为语言生成任务没有明确时间衰减，整句的 reward 是等权重的。lam控制偏置和方差之间的取舍，0.95 是个稳妥值。
优势计算之后，对同一个经验缓冲区分成若干 minibatch，每个 minibatch 内多次更新 actor 和 critic。更新 actor 时，loss 由三部分构成：
policy_loss = -torch.min(ratio * advantage, torch.clip(ratio, 1-eps, 1+eps) * advantage).mean()
kl_loss = (old_logprobs - ref_logprobs).mean()，更新时对这个值加惩罚，权重自行调整。
entropy_loss = -policy_entropy.mean()，保留生成多样性。
三个 loss 加权相加才是最终的 actor loss。权重方面，KL 系数和熵系数都需要细调，它们一个管“漂移”，一个管“坍塌”。
4.4 关键超参的经验范围
超参是 RLHF 里最“只可意会”的部分，我给一个自己试验下来还算稳定的起始区间做参考：
| 参数 | 起始建议 | 说明 |
|---|---|---|
| clip epsilon | 0.2 | 过大容易一步崩，过小收敛慢 |
| GAE lambda | 0.95 | 方差与偏差折中 |
| gamma | 1.0 | 生成任务无折扣 |
| KL 惩罚系数 | 0.05~0.1 | 按每轮KL值动态调 |
| entropy 系数 | 0.01 | 太低模型变复读机 |
| mini-batch 数 | 4~8 | 取决于经验缓冲区大小 |
| PPO 更新 epoch | 3~4 | 超过4次容易过拟合经验缓冲区 |
如果你观察到训练早期 KL 值快速上升，优先降学习率或提高 KL 惩罚，不要先动 clip epsilon。这是我靠大量实验换来的判断，原因在于 clip 管的是“单步更新幅度”，KL 管的才是“整个策略的漂移节奏”，两者不要混为一谈。
5. 实操中的高频坑：奖励作弊、KL 崩塌、熵归零
5.1 奖励模型被“逆向工程”
这个坑几乎每个做 RLHF 的人都会遇到。策略模型在优化过程中会找到 RM 的漏洞，然后疯狂产出“看起来很高分但实际很蠢”的内容。
我印象最深的一次：模型学会了在回答末尾加上大段免责声明，同时大量使用“换句话说”“总的来说”这类连接词，RM 分数一路涨到 0.8+，但人在侧评估时发现回答质量反而下降了，信息密度变低、越来越油腔滑调。
规避手段有两个方向。一是训练 RM 时增加正则，削弱它对格式的迷信；二是在 RL 训练目标里加入长度惩罚，每多一个冗余 token 就从小奖励里扣一点。实际操作里我在 reward 上加了一个和生成长度挂钩的线性惩罚项，效果立竿见影。必要的冗余是流畅度的来源，全凭惩罚权重控制节奏，通常每超过预算一个 token 扣 0.01 之类的量级，具体需要视 RM 的量纲决定。
5.2 KL 崩塌：奖励信号完全压过语言能力
KL 崩塌指的是策略模型的输出和参考模型严重偏离，表现为语法破碎、逻辑断裂、甚至中英混杂，但奖励分数极高。原因是 KL 惩罚没设上限，策略只要把某个高奖励 prompt 对应的 token 概率调到极端，就能在短期内刷高奖励。
我自己第一次观察到这个现象时，经验缓冲区里同一句 prompt 的回答开始成段重复，hack 行为明显。当时我用了一个简单办法：给 KL 惩罚加 hard limit，单条样本的 KL 超过阈值就直接在 loss 里变成大惩罚，让策略没法无限偏离。
另外还有一个实践技巧：在计算 KL 惩罚时对正 KL 和负 KL 做不对称处理。模型把自己的概率调得比参考模型还极端时，惩罚更大；当它趋向保守时惩罚相对小。这样做能让模型保持“探索但不过激”的节奏。
5.3 熵过早归零：多样性消失的隐性问题
entropy 是衡量策略随机性的指标。理想情况下，训练过程中 entropy 应该缓慢下降，但如果它骤降到接近零，说明策略已经变成确定性输出了，稍微换个问法可能就回答不了。
这个问题的直接原因是 advantage 估计方差太大，策略被某些高奖励样本带了节奏，对特定 token 给到极高概率。缓解方案是：
- 把 advantage 做一次标准化，消除异常大值。
- 降低学习率，让更新更平滑。
- 保留至少初始权重 0.5% 的 entropy 正则，别全依赖自适应。
5.4 显存与速度：四模型分布式训练的现实问题
RLHF 的训练成本比 SFT 高一到两个数量级。原因很容易理解：同一个 batch 要同时经过 actor、critic、reward、ref 四个模型前向；actor 和 critic 还有反向传播；如果需要保存中间梯度，显存开销非常夸张。
我实践的优化顺序是：
- ref 输出预计算并缓存，坚决不双人组参与每步前向。
- actor 与 critic 共用一个基础模型权重，只分离最后的 head，减少参数总量。
- 开启梯度检查点，用计算换显存。
- 长序列时逐步截断梯度回传窗口，统计 KL 梯度只回传到近 128 或 256 token，远程位置的 token 不再参与关键梯度计算。
这样调整之后，之前只能塞 4 条的 batch size 提到了 16，训练速度也快了不少。
5.5 评估陷阱：RM 分数高 = 效果好吗？
验证 RLHF 效果时，只看 RM 分数是最大的误区，因为 RM 本身就是被优化的目标，就像学生考试时只刷题库却不对应实际能力。
我的经验是：设一个固定的验证 prompt 集，拿当前 actor 每几百步做一次生成，把这些生成和参考模型的生成混在一起做人工盲评，只看两件事：有用性提升和格式崩塌比例。RM 分数用来监控训练趋势，人工评估才用于判断是否继续训练。固定验证集的好处是不同轮次可以横向对比，否则样本不一致时，差异无法判读。
6. 实务建议和非典型替代：什么才是适合你的方案
6.1 从 0 到 1 的现实门槛
RLHF 不是“装上就能跑”的工具箱，它对数据、算力和工程的依赖都很高。我整理过一张自查清单：
- 有没有至少 2 万条高质量偏好对？没有的话，RM 很难学到稳妥偏好。
- 有没有能跑多机多卡的集群？纯靠单卡，经验收集的速度会让人怀疑人生。
- 有没有在 SFT 阶段就已经调得不错的基座？如果 SFT 还能提升，先不要上 RLHF。
如果三个条件都不满足，我不建议一上来就主攻 PPO-RLHF。先用规则约束和精心挑选的 SFT 数据，往往能解决 80% 的可感知问题。
6.2 像 DPO 这样的替代方案何时可以上
后来出现的 DPO（直接偏好优化）省掉了奖励模型训练和强化学习环，直接从偏好对更新策略。它最吸引我的地方是稳定——不用维护四个模型，不用调 KL、熵、clip 这些超参，跑起来特别省心。
但 DPO 的局限是它不能靠在线采样灵活探索，普遍观点是它在“让模型刷分去讨好 RM”的问题上没那么极强适配，但同时也少了迭代寻优的能力。我做过一个组合：先用 DPO 跑一个基础对齐版本，如果效果不错就此打住；如果还有提升空间，再在它的基础上去做 PPO，这样能省下很多反复调 RM 的时间。
具体是 PP O 还是 DPO，可以拿一张表来看：
| 维度 | PPO-RLHF | DPO |
|---|---|---|
| 是否需要训练 RM | 需要 | 不需要 |
| 在线采样探索 | 有 | 无 |
| 超参复杂度 | 高 | 低 |
| 训练成本 | 高（四模型） | 低（单模型） |
| 对偏好对数据的利用 | 依赖 RM 质量 | 直接利用 |
| 稳定性 | 需要大量调参 | 相对稳定 |
要我说，判断标准很朴素：如果时间和算力都充裕，PPO 的潜力更高、天花板也更高；如果跑偏风险承担不了、资源吃紧，DPO 是第一选择。
6.3 未来的一个扩展方向：从“人打分”到“环境奖励”
RLHF 强调“人类反馈”，本质是人在模拟环境里打分。而更实际的升级方向是把奖励来源向环境转移：代码可以跑测试用例，摘要可以通过规则验证事实，数学题可以检查答案。这类可验证奖励让模型学习更稳定的信号，也减少了 RM hack 的风险。
我最近在实验的一种做法是混合奖励：RM 分数只占最终奖励的一部分，另一部分来自自动化的规则校验。这种方式还没有完全成熟，但在代码生成和结构化输出类任务上已经看到收益。未来一两年之内，这个方向很可能会把 RLHF 这种“人类打分”的范式，推向一块更广阔但也更工程化的领地。
我在这个领域反复实验后的体会是：RLHF 的价值不在于让模型“讨好一张评分表”，而在于教会模型在动态边界内不断自我修正。如果你准备上手，别跳过数据质量和 RM 训练这两个看似寻常的步骤；如果遇到训练失控，先检查 KL 和熵，再调模型结构；如果资源受限，DPO 是一个体面的起点。
多跑几轮之后，你会发现这类框架真正的魅力是：你教会模型的不是答案，而是不断判断答案好坏的能力。
