Robo-Dopamine：用奖励模型驱动机器人强化学习落地

1. 从“奖励”这个词说起：Robo-Dopamine 到底想解决什么

机器人操作这块，过去几年最热闹的方向之一就是让机械臂学会复杂任务，比如插拔连接器、折叠衣物、拧瓶盖、装配零件。传统做法要么是靠人工写死轨迹，要么是用模仿学习从示教数据里拟合策略。这两条路各有各的瓶颈：写死轨迹泛化能力几乎为零，换一个物体位置就得重来；模仿学习则严重依赖高质量示教数据，而示教数据本身采集成本极高，一个精细操作任务动辄需要几百条演示。

强化学习（RL）看上去是更优雅的解法——让机器人在环境里自己试错，通过奖励信号逐步优化策略。但问题来了：奖励从哪来？在仿真环境里，你可以写一个精确的奖励函数，比如“末端执行器距离目标点小于 1 厘米就给 +1”。可一旦到了真实世界，物体接触、形变、摩擦、视觉遮挡全都来了，你根本没法用一个解析式把“做得好不好”写清楚。更麻烦的是，稀疏奖励下机器人随机探索几乎不可能碰到成功状态，学习效率低到令人绝望。

Robo-Dopamine 系列要做的，就是给机器人操作补上这块最关键的拼图：用学习出来的奖励模型（Reward Model）替代手工奖励函数，让 RL 在真实操作任务里真正跑得起来。这里的 GRM 通常指 Generalized Reward Model 或 Generative Reward Model，核心思路是通过人类偏好、示范对比或任务语义来训练一个“打分器”，它能在机器人执行过程中实时给出密集的奖励信号。你可以把它理解成给机器人装了一个“多巴胺系统”——做对了就分泌一点，做偏了就抑制一下，引导策略往正确方向走。

这套东西适合谁看？如果你正在做机器人 RL 落地、模仿学习后微调、或者具身智能相关的策略训练，那 Robo-Dopamine 系列值得你花时间啃一啃。它不是一个纯理论框架，而是围绕“奖励建模 + 策略优化”这条链路，给出了从数据采集、模型训练到在线微调的完整工程方案。下面我会按实际落地的顺序，把核心设计、关键细节、实操步骤和踩坑经验一层层拆开讲。

2. 整体设计思路：为什么是“奖励模型 + RL”而不是端到端

2.1 奖励模型在机器人操作里的角色定位

先把这个架构讲清楚。Robo-Dopamine 系列的基本链路是这样的：人类提供偏好数据或少量示范 → 训练奖励模型 GRM → 奖励模型对机器人 rollout 打分 → RL 算法用这些分数更新策略 → 新策略产生新数据 → 继续迭代奖励模型和策略。这是一个典型的双层循环，外层是奖励模型的更新，内层是策略的优化。

为什么不让奖励模型和策略完全端到端一起训？因为那样太不稳定了。奖励模型本身是一个需要泛化的函数逼近器，如果它和策略同时剧烈变化，就会出现“奖励模型还没学会判断，策略已经跑偏”的情况。分开训、交替更新，虽然慢一点，但可控性高得多。实际项目里，我通常会让奖励模型先在一个离线数据集上预训练到比较稳的准确率，再接入 RL 循环做在线微调。

另一个关键设计是奖励模型输入的表征形式。常见的有三种：纯状态输入（关节角、末端位姿）、纯视觉输入（RGB 或点云）、以及多模态融合。Robo-Dopamine 系列更偏向视觉 + 本体感知的融合方案，因为纯状态在接触-rich 任务里信息损失太大，纯视觉又容易受光照和遮挡干扰。融合之后，奖励模型能看到“机器人当前姿态 + 场景视觉”的联合表示，判断更准。

2.2 为什么不用稀疏奖励硬扛

有人会问：既然奖励模型这么麻烦，为什么不直接用稀疏奖励加 HER（Hindsight Experience Replay）？HER 确实能缓解稀疏奖励问题，但它本质上还是在“成功/失败”二值信号上做文章。对于精细操作任务，成功条件本身就很模糊——插进去多少算成功？拧紧到什么程度算完成？HER 需要你定义一个明确的成功判定器，而这个判定器在真实世界里往往比奖励模型还难写。

奖励模型的好处是它能输出连续的、有梯度的偏好分数。比如机器人末端离目标还有 3 厘米时，奖励模型可能给 0.3 分；离到 1 厘米时给 0.7 分；接触并轻微插入时给 0.9 分。这种密集信号让 RL 的探索效率提升一个数量级。我实测过一个插孔任务，稀疏奖励下 PPO 跑了 200 万步还没稳定成功，换成 GRM 密集奖励后 30 万步左右就能到 80% 以上成功率。

2.3 方案选型的几个关键取舍

在具体实现上，Robo-Dopamine 系列有几个明显的取舍值得注意。第一，奖励模型用分类还是回归？分类（判断哪个轨迹更好）通常比回归（预测具体分数）更稳，因为人类偏好数据天然是成对比较的形式。第二，奖励模型用 Transformer 还是 CNN？如果任务有时序依赖（比如多步装配），Transformer 能捕捉长程关系；如果只是单步判断，CNN 加 MLP 就够了，推理还快。第三，在线更新频率多高？更新太频繁会导致奖励信号抖动，策略学不稳；更新太慢又跟不上策略变化。一般建议每收集 5000 到 10000 条新 rollout 更新一次奖励模型。

注意：奖励模型不是越准越好。如果它太早收敛到一个“完美”判断，策略可能会过拟合到奖励模型的偏好上，而不是真正完成任务。保留一点噪声和不确定性，反而有助于策略探索。

3. 核心细节解析：奖励模型怎么训、策略怎么接

3.1 偏好数据的采集与标注

奖励模型的训练数据通常来自两种渠道：成对偏好比较和示范轨迹打分。成对比较更常用，因为人类标注者只需要判断“A 和 B 哪个更好”，比直接打绝对分数容易得多，一致性也更高。采集流程一般是：让当前策略或一个混合策略生成多条轨迹，然后从中采样成对片段，交给标注者比较。

这里有个实操细节：片段长度很关键。如果片段太短（比如只有 5 帧），标注者看不出任务进展；太长（比如 200 帧），标注者又记不住细节。我一般用 20 到 50 帧作为一个比较单元，具体取决于任务的时间尺度。插孔任务用 30 帧左右比较合适，折叠衣物可能需要 50 帧以上。

标注一致性方面，建议每个比较对至少让 2 到 3 个标注者独立判断，取多数票。如果分歧太大，说明这个比较对本身模糊，应该丢弃。实测下来，保留一致性高的数据能让奖励模型准确率提升 10 到 15 个百分点。

3.2 奖励模型的网络结构与训练目标

Robo-Dopamine 系列里，奖励模型通常采用Bradley-Terry 模型作为训练目标：给定两条轨迹片段 σ1 和 σ2，模型预测人类偏好 σ1 优于 σ2 的概率为 exp(r(σ1)) / (exp(r(σ1)) + exp(r(σ2)))，其中 r(·) 是奖励模型输出的标量分数。训练损失就是偏好标签的交叉熵。

网络结构上，视觉编码器可以用 ResNet 或 ViT 的轻量版本，本体感知用几层 MLP，然后拼接后过 Transformer 编码时序关系，最后取平均或注意力池化得到标量奖励。这里有个坑：奖励模型的输出尺度要控制。如果输出范围太大，RL 的 value function 会很难拟合；太小又区分度不够。我一般会把奖励归一化到 [-1, 1] 或 [0, 1] 区间，并在训练时加一个小的权重衰减防止过拟合。

另一个细节是奖励模型的正则化。因为偏好数据往往只覆盖策略访问过的状态分布，奖励模型在分布外可能给出离谱分数。常见做法是加一个保守性惩罚，或者用集成（ensemble）多个奖励模型取最小值，类似 Conservative Q-Learning 的思路。Robo-Dopamine 系列里我倾向于用 3 到 5 个奖励模型做集成，取平均或最小值，能显著减少策略钻空子的情况。

3.3 策略优化：PPO、SAC 还是别的

奖励模型接进来之后，策略优化算法本身没有太大变化。连续控制任务里，SAC和PPO是最常用的两个。SAC 样本效率高，适合真实机器人场景；PPO 更稳，适合仿真里大规模并行训练。Robo-Dopamine 系列的实验里，仿真阶段用 PPO 居多，真机微调阶段切到 SAC 或 TD3。

关键改动在于奖励的接入方式。奖励模型输出的分数不能直接当 reward 用，通常要做几步处理：先做滑动平均平滑，再乘一个缩放系数，最后可能还要加一个小的生存奖励（比如每步 +0.01）防止策略学会“摆烂”。缩放系数需要调，一般从 0.1 开始试，观察 value loss 和 policy entropy 的变化。

提示：如果发现策略在奖励模型上得分很高但实际任务完成度很差，大概率是奖励模型被“攻击”了。这时候要检查奖励模型的集成方差，或者引入一个基于任务成功率的硬约束。

3.4 在线迭代的节奏控制

整个系统跑起来之后，节奏控制是成败关键。我通常把一轮迭代分成四个阶段：策略 rollout 采集 → 偏好标注 → 奖励模型更新 → 策略更新。每个阶段的耗时和频率需要根据任务调整。真机场景下，rollout 采集最慢，可能占 60% 以上时间；仿真里则可以把标注和训练并行化。

一个实用的技巧是维护一个优先级回放池。不是所有 rollout 都同等重要，那些奖励模型判断不确定性高的片段（比如集成方差大）应该优先标注。这样能用更少的标注量达到更好的奖励模型效果。实测下来，优先级采样能节省 30% 到 40% 的标注成本。

4. 实操过程：从零搭一套 Robo-Dopamine 流程

4.1 环境搭建与依赖准备

假设你用的是 Python 生态，基础依赖包括 PyTorch、Gymnasium 或 MuJoCo、以及一个机器人仿真环境（比如 RoboSuite 或 Isaac Gym）。真机的话还需要 ROS 或 ROS2 的通信层。我建议先用仿真把整条链路跑通，再迁移到真机。

conda create -n robo-dopamine python=3.10 conda activate robo-dopamine pip install torch torchvision gymnasium mujoco pip install robosuite

奖励模型的训练代码可以单独放一个模块，输入是轨迹片段，输出是标量分数。策略训练用 Stable-Baselines3 或自己写 PPO 都可以。关键是接口要清晰：奖励模型提供一个predict_reward(obs, action)方法，策略训练循环里直接调用。

4.2 奖励模型训练的具体步骤

第一步，收集初始偏好数据。可以用一个随机策略或脚本策略生成 200 到 500 条轨迹，每条轨迹切成 30 帧的片段，然后随机配对让标注者比较。初始数据量不用太大，500 到 1000 个比较对就能训出一个初步可用的奖励模型。

第二步，训练奖励模型。损失函数用 Bradley-Terry 交叉熵，优化器用 AdamW，学习率 1e-4 到 3e-4，batch size 64 到 128。训练到验证集准确率 75% 以上就可以接入 RL 了。不用追求太高准确率，因为后续还会在线更新。

import torch import torch.nn as nn class RewardModel(nn.Module): def __init__(self, obs_dim, action_dim, hidden=256): super().__init__() self.net = nn.Sequential( nn.Linear(obs_dim + action_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1) ) def forward(self, obs, action): x = torch.cat([obs, action], dim=-1) return self.net(x).squeeze(-1) def bradley_terry_loss(r1, r2, prefer_r1): logits = r1 - r2 labels = prefer_r1.float() return nn.functional.binary_cross_entropy_with_logits(logits, labels)

第三步，接入 RL 循环。策略每收集一批 rollout，就用当前奖励模型打分，然后更新策略。同时定期用新数据更新奖励模型。这里要注意奖励模型的冻结与解冻：策略更新时奖励模型参数要冻结，奖励模型更新时策略不更新，避免相互干扰。

4.3 真机迁移的关键调整

仿真里跑通之后，真机迁移有几个必须做的调整。第一，视觉域随机化。仿真里的光照、纹理、相机噪声和真机差距很大，奖励模型如果只在仿真数据上训，到真机可能完全失效。解决办法是在仿真里做大量域随机化，或者在真机上采集少量数据做微调。

第二，动作平滑。真机对动作抖动非常敏感，奖励模型如果对抖动不敏感，策略可能会学到高频抖动的动作。建议在奖励里加一个动作平滑惩罚项，或者对策略输出做低通滤波。

第三，安全约束。真机上策略探索可能撞坏东西，需要加一个基于力/力矩的安全层，超过阈值就急停。这个安全层不参与奖励模型训练，是独立的硬约束。

4.4 一个完整的迭代示例

假设你在做一个插孔任务。初始策略随机，奖励模型用 500 个偏好对训练。第一轮迭代：策略跑 1000 条轨迹，采样 200 个比较对标注，奖励模型更新一次，策略用 PPO 更新 10 万步。第二轮：策略成功率从 5% 提升到 30%，再采样 200 个比较对，奖励模型准确率从 78% 提升到 85%，策略再更新 10 万步。第三轮：成功率到 65%。第四轮：成功率到 85% 以上，奖励模型准确率稳定在 88% 左右。整个过程大概需要 3 到 5 轮，总交互量在 50 万到 100 万步之间。

这个节奏不是固定的，任务越难，需要的轮次越多。关键是每轮都要监控策略成功率和奖励模型准确率两个指标，如果奖励模型准确率停滞但策略成功率还在涨，说明奖励模型够用了；如果策略成功率停滞但奖励模型准确率还在涨，说明策略优化出了问题，可能要调 RL 超参。

5. 常见问题与排查技巧实录

5.1 奖励模型被“钻空子”怎么办

这是最常见的问题。策略发现奖励模型的某个漏洞，比如只要末端执行器快速抖动就能拿高分，但实际任务没完成。排查思路：先看奖励模型集成方差，如果某个状态下方差很大，说明模型不确定，策略可能在利用这个不确定性。解决办法是加保守性惩罚，或者用最小集成值作为奖励。

另一个技巧是定期用真实任务成功率校准奖励模型。如果奖励模型给某条轨迹打 0.9 分但实际没成功，就把这条轨迹作为负样本加入训练集，让奖励模型学会区分“看起来好”和“真的好”。

5.2 策略训练不稳定、奖励曲线震荡

奖励曲线震荡通常有三个原因：奖励尺度太大、奖励模型更新太频繁、或者 RL 学习率太高。排查顺序：先把奖励缩放系数调小一半，观察是否改善；如果还震荡，把奖励模型更新频率降低到每 2 万步一次；最后再调 RL 学习率。

还有一个容易被忽略的点是奖励的时序对齐。奖励模型打分的片段和策略实际执行的动作必须严格对齐，如果差了几帧，奖励信号就会错位，导致策略学歪。建议在数据管道里加一个校验步骤，确保 obs、action、reward 的时间戳一致。

5.3 真机上奖励模型推理太慢

奖励模型如果太大，真机推理可能跟不上控制频率。解决办法：一是用轻量网络，比如 MobileNet 级别的视觉编码器；二是做模型量化，FP16 或 INT8 推理；三是降低奖励模型更新频率，策略控制频率保持 100Hz 以上，奖励模型 10Hz 就够了。

我实测过一个方案：奖励模型用 ResNet-18 加两层 MLP，输入 128x128 图像，在 Jetson Orin 上 FP16 推理大概 8ms，完全够用。如果还慢，可以把视觉编码器换成更小的 EfficientNet-Lite。

5.4 常见问题速查表

5.5 几个我踩过的坑

第一个坑是奖励模型预训练太久。一开始我总想把奖励模型训到 90% 以上准确率再接入 RL，结果发现过拟合严重，策略一探索到分布外状态奖励模型就乱给分。后来改成 75% 到 80% 就接入，在线迭代反而更稳。

第二个坑是偏好数据只采成功轨迹。早期我觉得失败轨迹没价值，只让标注者比较成功轨迹。结果奖励模型没见过失败模式，策略一偏离成功路径就得不到正确惩罚。后来改成成功和失败轨迹混合采样，奖励模型的区分能力明显提升。

第三个坑是忽略动作空间归一化。不同关节的动作范围差异很大，如果不做归一化，奖励模型可能会过度关注某些关节。统一归一化到 [-1, 1] 之后，训练稳定多了。

6. 奖励模型之外：Robo-Dopamine 系列的扩展方向

6.1 从偏好到语义奖励

偏好比较虽然好用，但标注成本还是高。一个自然的扩展方向是用语言模型生成语义奖励。比如给任务一个自然语言描述“把红色方块放进蓝色盒子里”，用一个视觉语言模型判断当前状态和描述的匹配程度，作为奖励信号。这样就不需要大量人工标注了，只需要任务描述。

Robo-Dopamine 系列里已经有初步尝试，用 CLIP 或类似的视觉语言模型做零样本奖励。效果当然不如专门训练的奖励模型，但胜在泛化性好，换任务只需要换描述。实际项目里可以两者结合：语义奖励做粗筛，偏好奖励做精调。

6.2 多任务奖励模型共享

如果同时做多个任务，每个任务单独训一个奖励模型太浪费。可以训一个多任务奖励模型，输入里加一个任务编码，输出共享的奖励表示。这样新任务只需要少量偏好数据就能微调，大大降低标注成本。关键是任务编码的设计，可以用 one-hot、语言嵌入或者任务演示的隐变量。

6.3 奖励模型的可解释性

奖励模型是个黑盒，出了问题很难排查。一个实用的扩展是奖励归因：对奖励模型的输出做梯度回传，看哪些输入维度贡献最大。如果发现奖励主要来自背景纹理而不是机器人动作，那就说明模型学歪了。这个技巧在调试阶段非常有用，能快速定位奖励模型的偏见。

6.4 与离线 RL 的结合

如果真机交互成本太高，可以先用离线数据训一个奖励模型，再用离线 RL（比如 CQL 或 IQL）训策略，最后少量在线微调。Robo-Dopamine 系列的离线版本我试过，在插孔任务上，纯离线能到 60% 左右成功率，加 10% 在线数据就能到 85%。这个路线适合真机资源紧张的场景。

7. 一些实操后的个人体会

这套东西我前后折腾了大半年，最大的感受是：奖励模型的质量比 RL 算法本身重要得多。同样的 PPO 配置，奖励模型好一点，成功率能差 30 个百分点。所以时间分配上，我建议 60% 精力花在奖励模型的数据和训练上，30% 花在策略调参，10% 花在工程优化。

另一个体会是不要追求一步到位。一开始就想训一个通用奖励模型覆盖所有任务，基本不现实。先从单任务、单场景做起，把链路跑通，再逐步扩展。Robo-Dopamine 系列的价值不在于某个具体算法，而在于它提供了一套可迭代、可扩展的工程框架。你可以在它的基础上换奖励模型结构、换 RL 算法、换数据采集策略，但核心的“偏好数据 → 奖励模型 → 策略优化 → 在线迭代”这个循环是不变的。

最后分享一个小技巧：定期保存奖励模型的检查点，并记录每个检查点对应的策略成功率。这样当策略出问题时，你可以回滚到之前的奖励模型，而不是从头再来。这个习惯帮我省了至少两周的重复实验时间。