做离线强化学习久了，你会意识到一个很拧巴的事实：扩散策略拟合数据分布的能力极强，但它本质上是在模仿行为策略。你用一批次优混合数据训练出来的扩散模型，采出来的动作大概率只是“像数据”，而不是“值钱”。我最早看到 CFGRL 这个标题时，第一反应是它把 diffusion guidance 重新框成了一个可控的策略提升算子——也就是说，引导强度不再只是图像生成里调风格的一个参数，而是策略改进力度本身。这篇文章我会把它掰开揉碎讲清楚，并且给出我实际跑实验时能直接上手的工程实现。
1. 为什么说 diffusion guidance 可以当作策略提升算子
1.1 先把两个概念对齐：扩散策略与策略提升
先说扩散策略。常规的策略网络输入状态 $s$，直接输出动作 $a$ 或其分布参数。扩散策略的思路是换一种生成方式：把动作 $a$ 看成一个需要“去噪”的样本，网络预测的是噪声，通过多步去噪得到最终动作。这样做的好处是能表达多模态的动作分布——真实数据集里往往存在“同一个状态，多种最优做法”，高斯分布根本拟合不了，扩散模型可以。
再说策略提升算子。这个词听起来学术，其实道理很朴素：强化学习里的策略迭代，就是反复执行两步——用当前策略评估价值，然后根据价值改进策略。改进的那一步，在数学上可以写成一个算子 $T$，它把旧策略 $\pi_{\text{old}}$ 映射到新策略 $\pi_{\text{new}} = T(\pi_{\text{old}})$。经典的有 Bellman 最优算子，有自然策略梯度，也有各种保守类算法自己定义的改进规则。
CFGRL 的核心贡献，是把这个“改进”动作放到了扩散模型的采样阶段：一次带引导的采样，就等价于执行了一次可控的策略提升。这个视角让我觉得很值钱，因为它把离线强化学习中“如何超越行为策略”的难题，转成了“如何设计引导信号与引导强度”的问题。
1.2 策略提升算子的通用形式，以及它和分数引导的对应关系
如果把策略提升写成最通用的形式，几乎所有方法都是在做同一件事：
[ \pi_{\text{new}}(a|s) \propto \pi_{\text{old}}(a|s) \cdot \exp\left(\beta \cdot A(s,a)\right) ]
意思是：新的策略在旧策略的基础上，给高优势的动作分配更多概率密度。$\beta$ 控制这个“偏向”有多强——$\beta$ 大，提升激进；$\beta$ 小，保守贴近旧策略。
对这个式子两边取梯度，可以得到：
[ \nabla \log \pi_{\text{new}}(a|s) = \nabla \log \pi_{\text{old}}(a|s) + \beta , \nabla A(s,a) ]
左边是新策略的分数（score），右边第一项是旧策略的分数，第二项是优势函数的梯度。熟悉扩散模型的朋友到这里应该已经嗅到熟悉的味道了：这正是 classifier guidance 的分数组合形式。
扩散模型采样时，最终决定生成方向的也是分数。无条件扩散模型的分数对应 $\nabla \log \pi_{\text{old}}$，而 classifier guidance 会额外加上一个分类器对数概率的梯度。在 CFGRL 的语境里，这个梯度被替换成了价值函数或优势函数的梯度。于是，不同强度的引导，就对应了不同强度的策略提升。
1.3 CFGRL 的“可控”到底可控在哪里
这个“可控”是全文的关键词，也是它区别于 Diffusion-QL 那一类方法的地方。Diffusion-QL 是在扩散策略的训练损失里加一个 Q 值项，通过加权梯度把策略往高价值方向推；这种做法的问题是，提升力度隐含在损失权重里，而损失权重和数据分布、奖励尺度耦合在一起，很难直观调节。
CFGRL 的做法是走 classifier-free guidance 的路线。训练时，让同一个扩散模型同时学会“无条件生成”和“有条件生成”；采样时，用两者的噪声预测之差作为引导方向，再乘上一个 scale 因子 $w$：
[ \epsilon_{\text{guided}} = \epsilon_{\theta}(z | s, \emptyset) + w \cdot \left(\epsilon_{\theta}(z | s, c) - \epsilon_{\theta}(z | s, \emptyset)\right) ]
这里的 $c$ 是条件信号，可以是回报、价值函数或优势函数。$w$ 就是那个“可控”的旋钮：$w=0$ 时是纯行为克隆，$w=1$ 时是利用条件信号的标准强度，$w>1$ 时则是对条件信号的外推——生成的样本会比数据集里的高回报样本更激进。
我在实践中最大的感受是：这种把“提升强度”独立成采样参数的设计，让调参过程变得异常清爽。你不用为了提升策略表现去动训练损失、改网络结构，只需要在采样端调一个数。
2. 核心思路拆解：从行为克隆到可控外推
2.1 条件信号的选择：回报、价值函数还是优势函数
CFGRL 可以落地成很多变体，最关键的差异在于条件信号 $c$ 的设计。
第一种是直接用 return-to-go（RTG），也就是把一段轨迹的累计回报作为条件。训练时给模型看“高回报轨迹对应的动作”和“低回报轨迹对应的动作”，采样时指定一个高于数据均值的回报目标，让模型生成与之匹配的动作。这个设计的优点是简单、稳定，不需要额外训练 critic；缺点是 RTG 是轨迹级信息，给到单步动作时会有 credit assignment 问题，只能说“这段轨迹整体回报高”，但说不清是哪几步的功劳。
第二种是训练一个价值函数 $Q(s,a)$ 或优势函数 $A(s,a)$，把它作为条件。CFGRL 标题里的 policy improvement operator 更贴近这个路线：提升算子的输入就是一个价值估计。这个做法理论上更干净，但工程上多了一个 critic 要训，critic 训不好会把噪声传进引导信号。
第三种是混合方案：用 RTG 做条件，但采样前用 critic 对生成样本做筛选。我没有在原文看到这种做法的依据，但实操中见过有人这样提高质量，代价是多一次前向推理。
如果让我给一句经验：第一版系统先把 RTG 条件跑通，再考虑价值函数条件。RTG 让你快速验证“引导方向对不对”，价值函数让你验证“引导上限高不高”。
2.2 无条件分支为什么是必需品
Classifier-free guidance 最反直觉的地方在于：你明明训练的是条件模型，为什么要让它在 10%~20% 的情况下看不到条件？
原因是，引导方向需要“基准线”。采样时要用条件模型的输出减去无条件模型的输出，这个差才是条件带来的增量；如果模型永远看到条件，你无法剥离出“条件到底改变了什么”。更准确地说，classifier-free guidance 的分数形式是
[ \nabla \log p(c|z) \approx \epsilon_{\theta}(z|c) - \epsilon_{\theta}(z|\emptyset) ]
这个差是对条件对数概率梯度的近似。没有无条件分支，这个差分就无从谈起。
训练上实现也很简单：每个 batch 里随机挑 10%~15% 的样本，把条件置为特殊的空值（比如全 0 的 embedding），其余样本正常带条件训练。损失函数不区分这两种情况，模型需要学会在条件缺失时依然能生成合理动作。我在实验中发现，这个 dropout 比例太小时，无条件分支会退化——模型即使看到空条件，也会隐隐“脑补”出条件，导致引导增量被削弱。
2.3 CFGRL 与 RLHF、DPO 这类偏好优化方法的关系
这里多扯一句。CFGRL 的算子视角和最近大模型领域流行的 RLHF、DPO 有异曲同工的地方——它们本质上都是让生成模型往“被偏好”的方向偏移，而偏移的强度由一个超参控制。
在 RLHF 里，这个超参是 KL 惩罚系数；在 DPO 里，它对应对数概率比的温度；在 CFGRL 里，它就是 guidance scale $w$。区别在于，RLHF 显式训练一个奖励模型，再通过强化学习优化策略；CFGRL 则是把价值信号直接揉进了扩散采样过程，不需要额外的策略优化器。这个视角对我帮助很大：你可以把 CFGRL 看成“RL 版的 classifier-free guidance”，也可以把它看成“采样时做策略提升的 RLHF”。
既然都是同一个思想在不同领域的投影，那它们的调参经验也可以互相借鉴。比如，引导强度过大导致分布坍缩，这个问题在图像生成里叫 mode collapse，在 RLHF 里叫 reward hacking，在 CFGRL 里叫动作越界——本质都是同一个病。
3. 落地实现：训练流程、损失函数与采样配置
3.1 数据准备与归一化
我在 D4RL 的 MuJoCo 任务上做验证，以 medium-replay 这类混合质量数据集为例。数据处理有几个小细节：
- 动作和状态都要归一化。扩散模型对输入尺度非常敏感，动作不归一化会导致扩散过程的学习信号被大数值维度主导。
- RTG 条件信号用 min-max 归一化到 $[0,1]$ 区间。注意这里的 min 和 max 要基于训练集统计，不要用全局未知的最大回报。
- 轨迹切分时，我习惯把一条完整轨迹切成长度为 64 的短段。段太短，条件信号包含的未来信息不够；段太长，训练样本数变少，而且长程依赖未必是单步动作生成需要的。
数据准备好之后，你会得到若干三元组：$(s_{t:t+H}, a_{t:t+H}, R_{t:t+H})$。这里 $H$ 是轨迹段长度。如果不想做轨迹级生成，也可以退化成单步 $(s_t, a_t, R_t)$，但那样会丢掉时序一致性，动起来肌肉感会差一些。
3.2 网络结构与训练要点
网络结构取决于你要生成的是轨迹还是单步动作。生成单步动作时，用一个 MLP 把状态编码成条件向量，再用一个 MLP 做去噪网络就够了。生成轨迹段时，我建议用 1D U-Net 或者带 causal attention 的 transformer，这样能捕捉动作之间的时序相关性。
我用的配置大致如下：
- 扩散步数 $T=1000$，噪声调度用 cosine schedule。
- 优化器 AdamW，学习率 $3 \times 10^{-4}$，weight decay 设得很小，大概 $1 \times 10^{-5}$。
- Batch size 256，训练 100 万步左右，或者按验证集上的扩散损失收敛为准。
- EMA 指数移动平均系数 0.995，采样时用 EMA 权重而不是最新权重。
- 条件 dropout 比例 0.15。条件用单层 MLP 嵌入成 256 维向量，空条件用全 0 张量。
训练损失就是标准的 DDPM 噪声预测损失，没有什么特殊处理：
[ \mathcal{L} = \mathbb{E}{t, z_0, \epsilon}\left[\left|\epsilon - \epsilon\theta(z_t, t, s, c)\right|^2\right] ]
唯一要注意的是：dropout 条件时，$c$ 的位置传入空张量，但状态条件 $s$ 永远保留。这一点很重要，因为无条件分支指的是“无回报条件”，不是“无状态条件”。
3.3 采样端配置：怎么做 classifier-free guidance
采样时，每个去噪步骤都要跑两次网络：一次用真实条件，一次用空条件。两者的 noise prediction 做线性组合，得到引导后的噪声估计，然后按 DDIM 的更新公式走一步。
实际代码骨架大概是这样的：
def guided_sample(model, state, condition, w, sampling_steps=50): # 初始化纯噪声 z = torch.randn(sequence_length, action_dim, device=device) # 用 DDIM 步长序列 timesteps = torch.linspace(1000, 0, sampling_steps + 1)[:-1] dt = 1000 / sampling_steps for t in timesteps: t_batch = torch.full((1,), t, device=device) # 条件分支 eps_cond = model(z, t_batch, state, condition) # 无条件分支 eps_uncond = model(z, t_batch, state, empty_condition) # classifier-free guidance 组合 eps_guided = eps_uncond + w * (eps_cond - eps_uncond) # DDIM 更新 alpha_t = get_alpha(t) alpha_next = get_alpha(t - dt) z = ddim_update(z, eps_guided, alpha_t, alpha_next) return z我采样时一般用 $50$ 步 DDIM，$w$ 从 $0.5$ 到 $5.0$ 之间扫。训练用了 1000 步，采样只用 50 步，这中间的信息损失是真实的，但 DDIM 的确定性性质让它对引导分数组合仍然稳定。如果你发现 50 步之后动作质量明显下降，可以提升到 100 步，代价是单次决策的延迟翻倍。
3.4 评估协议与指标选择
评估时我固定 10 个随机种子，每个种子跑 100 个 episode，取平均归一化回报。这里有一个容易踩的坑：扩散模型的采样带随机性，即使固定种子，结果也会有方差。所以评估次数不能太少，至少 50 个 episode 起步，否则两个方法之间的差异会被噪声淹没。
另外一个非常实用的辅助指标是“采样动作与数据集动作的分布距离”。我会计算生成动作与训练集动作的 MMD 或者简单统计动作范数、动作差分均值。如果 $w$ 调大之后动作分布明显偏离数据分布，离线评估得分却上升，你要警惕是不是环境模型给了不真实的过渡态。纯离线评估下这个现象很难察觉，但只要在真实环境或模拟器里回放一遍，原形毕露。
4. 调参经验与常见问题排查
4.1 guidance scale 不是越大越好，它和任务难度强相关
我在 D4RL 的 hopper、walker2d、halfcheetah 上做过完整扫描。结论是：简单任务（比如 hopper-medium-expert）最优 $w$ 在 2.0 附近，困难任务（比如 antmaze）最优 $w$ 会掉到 0.5~1.0。原因是困难任务的数据分布覆盖度低，行为策略本身不稳定，这时候强行外推高回报条件，生成的动作很容易跳出状态空间的合法区域。
我的建议是写一个小的超参扫描脚本，在 $w = [0.5, 1.0, 2.0, 3.0, 5.0]$ 里先粗扫，再在最优值附近细扫。每档跑 20 个 episode 就能看出大致趋势，不要一开始就在每个档位上跑满 100 个 episode。
4.2 RTG 分桶 vs 连续回归，谁更稳定
把 RTG 作为条件时，可以做连续回归，也可以离散化成桶。连续回归实现简单，但模型容易把中间值模糊化——因为高回报轨迹和低回报轨迹在动作空间上可能高度重叠，回归目标含糊。分桶相当于把连续信号离散成几个类别，模型学的是一个“高回报类别”的清晰边界，生成的区分度反而更好。
我的经验是分成 5 个桶，用交叉熵损失训练条件 embedding。实际采样时，指定“最高回报桶”作为条件，相当于隐式地给了一个比数据集平均水平更高的目标。这个做法和标题里的 controllable 思想是对得上的：你想多激进，就选多高的桶。
4.3 引导失效的诊断方法：检查增量而不是只看结果
如果你调了半天 $w$，发现结果和 $w=0$ 几乎没有区别，不要急着怀疑算法，先做两个检查。
第一，检查条件分支和无条件分支的输出差。把同一个噪声输入分别传入两个分支，统计 $\epsilon_{\text{cond}}$ 与 $\epsilon_{\text{uncond}}$ 的差异范数。如果这个差异范数趋近于零，说明条件信息没有进入网络，常见原因是条件 dropout 太低，或者条件 embedding 没有参与计算图。
第二，检查条件预测的准确率。如果你用的是 RTG 分桶条件，可以在验证集上算一下：给定一个带真实 RTG 桶标签的状态，模型的分类头能不能预测对。如果训练集上准确率都不到 80%，说明条件信号本身就没有被模型利用，引导自然失败。这个问题我遇到过两次，一次是 RTG 归一化出问题，另一次是条件 embedding 的维度设得太小被状态特征掩盖了。
4.4 采样步数与计算开销的权衡
CFGRL 使用引导会导致计算开销翻倍，因为每个去噪步跑两次网络。50 步 DDIM 意味着 100 次网络前向，这在离线评估里不是问题，但部署到实时控制系统里会比较吃力。
我试过的折中方案：先无条件采样 30 步，最后 20 步加入引导。原理是扩散过程前期决定动作的宏观结构，后期决定细节纹理；引导前期对方向影响大，后期对精细度影响大。如果只能在有限步数里用引导，把它放在后期性价比更高。另一个折中是把无条件分支的输出缓存住，固定状态不变化时复用同一份无条件输出，可以省一半计算。
4.5 和 Diffusion-QL、IQL 等基线对比时容易踩的坑
CFGRL 和 Diffusion-QL 的对比是最容易出公平性问题的，因为 Diffusion-QL 在训练时用 Q 加权，CFGRL 在采样时用引导。两者为了使实验公平，应该保持去噪网络架构、训练步数、采样步数完全一致。
我在复现时发现一个隐蔽的偏差：Diffusion-QL 如果加了条件 dropout，性能会下降，因为它的目标函数里没有“无条件生成”这一项；而 CFGRL 倚仗条件 dropout 才能做引导。所以对比时要明确说明“条件 dropout 是 CFGRL 的一部分”，不要为了让基线也享受这个组件而强行给 Diffusion-QL 加上，否则基线会变差，对比不公平。
和 IQL 这类非扩散模型方法对比时，要特别小心评估协议。IQL 输出的是确定性动作，评估方差小；扩散采样动作有随机性，评估方差大。不能只看均值，要看均值加减标准误，否则 CFGRL 可能因为方差大而被误判为“不稳定”。
5. 写在最后：一点个人体会
我最初接触 CFGRL 时，以为它只是给扩散策略加了个 classifier-free guidance，属于“技术拼接”。真正跑完实验之后才发现，把 diffusion guidance 重新解读为可控策略提升算子，改变的不仅是公式形式，而是整个调参心智模型。之前我优化扩散策略，总在训练损失里加各种正则项，小心翼翼地平衡拟合与提升；换了 CFGRL 之后，训练阶段干干净净只做行为克隆，所有“提升”动作都放到采样阶段用一个标量控制。这个分离让我少了很多头疼的时刻。
如果让我给准备入手的同学一个建议：第一版实现要克制。先用单步动作生成 + RTG 分桶条件 + 50 步 DDIM，把整个链路跑通，再逐步加上轨迹生成、价值函数条件、动态采样步数这些复杂选项。CFGRL 的框架很灵活，但它最核心的价值——引导强度与策略提升力度的对应关系——不需要复杂的工程就能验证。等你看到 w 从 0 调到 2 时策略行为肉眼可见地从“模仿”变成“激进”，你就真正理解这个算子在做什么了。
