GALATEA统一控制器：用强化学习与知识蒸馏实现机器人多技能连续操作

做机器人操作的人应该都有这种感觉：单个技能的训练越来越成熟，但一旦要把“抓取、移动、推拉、调姿态”这些动作串成一个完整任务，整个系统就会变得特别脆弱。抓取明明是练好的，接着移动时机械臂却会因为状态机切换的瞬间抖动把物体撞飞；推拉单独测成功率挺高，放到连续任务里就频频卡在桌沿。GALATEA这套统一控制器的思路很直接：让强化学习（RL）在仿真环境里把所有技能一次性学进同一个策略，再用蒸馏把它浓缩成一个可以真正部署上真机的轻量控制器。名字取自古希腊神话里被赋予生命的雕像，寓意就是别让策略死在仿真里。整体方案跑下来，成功率提升很可观，在多个多技能串联任务上比传统多模型控制方案高出25个百分点。这篇文章是把整个项目的设计思路、训练细节和踩坑记录捋一遍，适合正在做机器人操作、具身智能、Sim2Real部署的工程师参考。

1. GALATEA背后的技术选型逻辑

1.1 机器人多技能操作为什么难统一

先说说我们最初是怎么被逼到这条路上的。当时手里的任务是一个桌面整理场景：机械臂需要把一个杯子从托盘抓起来，移动到目标区域，推一下挡在前面的障碍物，最后把杯子旋转到指定角度。看起来每一步都不难，单项技能模型单独训练时成功率都在75%以上，但一套组合拳打下来，整体成功率只有不到55%。问题出在哪里？每一次技能交接都在丢分。

传统做法是“状态机+每个技能独立模型”。抓取模型负责抓，移动模型负责走，推拉模型负责推，调姿态模型负责转。调度器通过传感器判断上一阶段是否完成，然后切换下一阶段。这套结构在实际部署里非常脆：第二个模型并不完全知道第一个模型结束时手处于什么状态，它只拿到一个相机图像和夹爪开合量，交接瞬间的位姿误差会被模型直接放大。我翻过日志，发现大量失败并不是某个技能本身不行，而是切换前后的那几十帧出了状况，要么物体被机械臂甩出去，要么夹爪撞到桌沿，要么推拉模型误以为物体已经被推到目标位置开始下一步操作。这类“交接失败”在数据集里很难被任何一个单项模型自动学到。

更麻烦的是数据成本。真机采集一个完整连续轨迹，一次只能跑一个机器人，一小时最多攒几百条；而有经验的标注员甚至更难找。仿真环境里可以并行开几千个环境，一天就能攒出几十万条轨迹。所以当时一个很自然的想法是：与其维护一堆模型和一个脆弱调度器，不如让一套策略在仿真里把整条链路学出来。GALATEA就是从这个问题出发的。

1.2 仿真、RL、蒸馏各承担什么角色

这句话听起来像废话，但我想先强调一个定位问题：仿真、RL、蒸馏不是三个锦上添花的模块，而是各自解决一个绕不开的瓶颈。

仿真是“数据工厂+探索沙盒”。它最大的价值不是逼真，而是便宜和可重复。物体掉地上，仿真里一句reset就回来了；真机上要人工捡起来摆回原位。更重要的是域随机化，我可以把摩擦系数、物体质量、相机噪声、光照都变成随机变量，让策略见过足够多的“世界变体”，为后面的真机迁移打底。没有仿真的并行能力，RL这种需要百万级样本的算法根本跑不动。

RL是“策略探索器”。为什么不做纯模仿学习？因为我们要学的四种技能里，推拉和调姿态严重依赖接触反馈。人类演示往往会带入很强的风格偏见，比如推的时候总是习惯用夹爪背面，调姿态时总带着多余的旋转轨迹，这些样式会被行为克隆学走，但并不是最优解。RL的好处是它不依赖人工示范，靠奖励信号自己试错，通常会探索出比演示更直接、更适合当前机械臂的运动路径。

蒸馏是“压缩和迁移层”。在线RL训练出来的教师策略往往是个大网络，参数量几百万起步，跑一步推理要几十毫秒，控制频率根本跟不上真机。蒸馏之后学生网络可以压缩到教师体量的十分之一左右，推理延迟降到几毫秒，同时保留教师的行为模式。真机部署最要紧的恰恰是低延迟和确定性：学生网络输出的是接近确定性的动作，不会像RL策略那样带着探索噪声，真机上机械臂不会因为动作抖动造成不必要的冲击。

1.3 为什么选统一控制器而不是多控制器调度

在定方案之前，我还认真对比过另一条路：保留多个单技能模型，但训练一个高级策略来切调配。这个思路听起来优雅，实际很鸡肋。调度策略需要精确的“技能完成度”判断，而这个判断本身就是个难任务。更尴尬的是，如果底层某个技能模型预测失误，上层调度器根本不知道，错误会一路传导下去，除非再给每个技能写一套自检逻辑。越写越像一座屎山。

统一控制器的哲学是：不显式定义“现在在干什么”，让策略根据观测、目标和历史状态自己决定下一时刻的动作。抓取末端即将到位时，它自然会收敛动作幅度；移动阶段手部速度会自然拉高；调姿态阶段夹爪会改出细小的旋转修正。整套行为是连续轨迹，不存在交接点，也就没有交接失败。我自己的复现记录里，切换阶段的失败占比从原来的接近一半直接降到个位数，这就是25个百分点提升的主要来源。

2. 统一控制器是怎么把四种技能塞进一个模型里的

2.1 动作表示统一是第一步

很多人第一次听到“一个模型做四个技能”都会问：动作空间不一样怎么办？抓取要控制末端精确到位，移动是大范围位移，推拉要控制接触力，调姿态是末端小幅度旋转。看起来南辕北辙，但把它们放到笛卡尔空间里看，底层都是同一件事：末端执行器的位置、姿态、夹爪开合度。

我们在GALATEA里把动作统一成一个10维向量：6维末端位姿增量，1维夹爪连续开合指令，再加3维限制掩码或者模式权重。增量控制在这里很关键。如果直接预测绝对位姿，抓取和移动两个任务的数值尺度差距太大，移动可能一步要走20厘米，抓取可能一步只走5毫米，同一个网络学起来会互相撕扯。改成预测增量后，网络只需要学会“根据当前状态决定步子迈多大”，数值范围天然被限制在一个相对稳定的区间。

夹爪动作也要统一成连续值而不是二值开关。抓取启动时夹爪要快速闭合，但调姿态时夹爪如果在持续给力，会一遍遍把物体挤压歪。学生网络输出一个0到1之间的夹爪力度系数，再映射到实际夹持力，这让模型自己决定不同阶段该用多大力度，而不是固定“开/关”两个档位。

统一动作空间的直接好处是：学生网络输出维度固定，蒸馏时不需要为每个技能各写一个输出头。所有技能共享同一个输出层，只是内部特征分布不同。

2.2 多技能条件式架构设计

网络本身不算复杂，核心是“共享主干+任务条件”。输入包括多视角RGB-D图像、机械臂关节状态、夹爪张开度，再拼一个任务目标编码。任务目标编码不是简单的一串onehot，而是把“抓取目标物体”“移动到区域B”“把障碍推到C点”“把杯子旋转到指定角度”转成语义向量，喂给网络作为条件。

这里有个设计细节很值得说。一开始我图省事，直接把技能ID作为强标签加进输入，比如抓取就是0号，移动就是1号。训练倒是收敛很快，但后续发现模型严重退化：它学会了“看到标签1就开始走移动策略”，完全没有把当前机械臂位置和任务目标联系起来。换个没见过的初始位姿，表现立刻崩。后来改成只用任务语义embedding做条件，把技能ID从输入里删掉，强制策略从“状态-目标”关系里推断该做什么，泛化能力立刻上来了。

主干用的是一个小型Transformer，负责把视觉token和本体状态做交叉注意力。输出端不搞四个独立head，而是让每个技能对应一个低维投影矩阵，经过soft combination后再生成动作。初始阶段我把四个投影矩阵初始化为相同数值，让网络自己学着差异化，而不是在一开始就强迫分支独立。这个细节虽然不起眼，但对训练稳定性影响很大。

2.3 训练流程：先单练，再联训，最后上连续任务

训练节奏分三阶段。第一阶段是单技能预训练，四种技能分别在各自简化任务里各跑一轮，让共享主干先把基础视觉和本体感知学好。第二阶段是联合训练，每batch里按4:4:3:3的比例混入四种任务数据，让主干开始学习跨技能的特征复用。第三阶段才是连续任务训练，每个episode里把“抓取-移动-推拉-调姿态”串起来跑，奖励按子任务分阶段给出。

第三阶段千万别太早开始。我们一开始为了追求端到端效果，直接从连续任务开训，策略根本没法同时探索四个目标，动作熵崩得飞快，没几天就collapse成“只会抓取然后原地发呆”。加上前两个阶段之后，模型已经理解每个技能的内在目标，第三阶段只需要学“怎么衔接”，难度一下子小了一个量级。

3. 仿真环境的搭建与RL训练实战

3.1 仿真平台选型与场景搭建

仿真器选型上各有利弊。之后几个项目里我陆续试过不同组合，做一个简单横向对比：

GALATEA里最终用的是MuJoCo做物理仿真，自己写任务包装层，配合多进程并行环境；训练用PPO，渲染用Offscreen RGB-D。这么选的原因很简单：我们需要的不是极致仿真画质，而是可以快速改物体属性、改奖励、改初始分布的环境，MuJoCo的透明度和调试方便程度最高。

域随机化配置当时写在独立的JSON里，方便每次训练前打乱采样。一个大概的示例：

{ "friction_range": [0.2, 1.0], "mass_scale": [0.8, 1.2], "light_direction": ["uniform", 0.0, 3.14], "rgb_noise": 0.02, "depth_noise": 0.01, "object_position_offset": 0.05, "gripper_force_noise": 0.15, "camera_extrinsic_jitter": 0.02 }

物体质量随机浮动20%，摩擦系数在一个比较宽的区间里采样，相机外参加一点抖动，这些细节看着小，但对真机迁移的帮助是决定性的。我们做过消融，关掉域随机化之后，教师策略在仿真里能到94%成功率，蒸馏后模型一碰真机直接掉到34%。加上域随机化之后，即使蒸馏时的场景参数和训练时有差异，真机成功率也能稳定在75%以上。

3.2 奖励函数设计：别让策略钻空子

奖励设计是RL训练里最花时间的部分。GALATEA采用“稀疏任务奖励+稠密形状奖励+正则惩罚”三层结构。

抓取子任务：形状奖励用末端和物体表面的距离做RBF映射，公式大致是exp(-distance / 0.1)。抓取成功判据不是夹爪碰到物体，而是“夹爪闭合后匀速提升2秒物体不脱落”，达成给一个相对大的额外奖励。这模拟了真机判断抓没抓稳的物理过程。

移动子任务：奖励和物体到目标区域的距离变化挂钩，用负距离做形状奖励，进入目标区域且保持1秒给任务奖励。这里我特意不直接用物体位移速度，否则策略会学成“以最快速度把物体甩过去”的甩盘子风格。

推拉子任务：奖励方向是物体位移与目标方向的内积，方向对得分，反了倒扣。比较要命的是边界问题，物体一旦被推出桌面是死局，所以额外加一条“物体必须在支撑平面上”的硬性约束，不满足就终止本episode并给负奖励。

调姿态子任务：旋转误差用四元数对齐度表达，误差小于阈值给成功奖励。姿态奖励的尺度比抓取奖励小得多，因为调姿态是最精细的活，给太多奖励会让策略过度关注姿态而忽略掉其他更紧急的目标。

实操里最容易翻车的就是距离奖励线性化。我第一版直接把“物体到目标距离”的负值作为奖励，结果策略发现通过反复抖动可以让距离在一个周期内获得大量积分，学到一套“原地抽搐”的假动作。改成RBF映射并且加上动作变化率惩罚之后，这种偷懒行为才被压住。

3.3 PPO调参与训练节奏

训练超参数如果直接照搬社区默认配置，效果会跟预期差很远。我最后稳定下来的PPO配置：

训练初期看成功率曲线基本没有参考价值，前10M步成功率可能一直在10%以下徘徊。这时候更应该看中间指标，比如接触物体时间占比、物体位移均值、末端到目标平均距离这些过程量。过程量在动，说明策略在学，只是还没攒够成功经验。

一个很实用的调试方法：如果某个环境里策略一直循环“抓取-松开-抓取-松开”，多半是任务奖励给得太苛刻或者安全惩罚权重太大压过了探索动力。把动作熵打印出来看，如果熵值过早塌缩到非常小的区间，那就说明策略被局部最优卡死，该调整奖励尺度或者加大熵正则了。

4. 蒸馏实操：把在线RL策略变成可部署的控制器

4.1 蒸馏数据准备与方案选型

教师策略训练完之后，接下来是蒸馏。蒸馏第一步不是写loss，而是采集数据。我们让教师策略在带域随机化的仿真环境里采样，一共攒了大概40万条轨迹，每条轨迹记录的是state-action-goal三元组，并且额外保存教师输出分布的均值和方差，而不是只保存最终采样的动作。这个细节对后续蒸馏质量影响很大，因为学生需要复现的不只是“教师做了什么”，还有“教师对这个动作的置信度”。

蒸馏方案上有三个常见路线：行为蒸馏、运动蒸馏、技能蒸馏。它们各自的适用场景有差别。

GALATEA的最终选择是“行为蒸馏为主+一点运动蒸馏的思路”。因为动作维度统一成了10维，并不算高维，直接行为蒸馏够用；但为了让学生的动作更贴合教师分布，loss里同时加入了对教师输出分布的KL散度约束。技能蒸馏暂时没上，因为四个技能已经统一进一个模型了，再搞独立技能token反而会破坏连续性。

4.2 蒸馏loss设计与温度参数

蒸馏损失函数三部分组成。第一部分是动作均值回归，用MSE让学生网络的输出动作贴近教师策略的均值动作。第二部分是KL散度，强制学生输出的动作分布跟教师分布对齐。第三部分是物理约束惩罚，关节限位、碰撞距离越界都会被扣分。这个约束项代价不大，但能避免学生学出仿真里看起来正常、真机上直接撞车的动作。

温度参数T的选择我踩过一次坑。T太小的话，学生只会学习教师最高概率的那一条路径，多样性不足，域随机化泛化很差；T太大，教师分布被过度平滑，动作被“平均化”，抓取末端精度肉眼可见地掉。拿Turn角度做了全扫描，我最终定位到T=3.0左右效果最好。低于2.0的时候真机测试动作明显变得“一根筋”，碰到摩擦系数变化就卡；高于4.0的时候抓取老是差那么一两毫米对不准。

学生网络结构大约是教师的十分之一，三层MLP加两层轻量Transformer。蒸馏训练时把BatchNorm全部换成LayerNorm，推理阶段不会因为统计量漂移导致分布被破坏。这个看起来是常识，但真踩过一次之后才发现没那么多人注意到。

4.3 25个百分点的提升从哪里来

蒸馏完学生控制器上真机，测试结果比我们预想的还要乐观一点。传统多模型调度方案在连续任务上的成功率平均在62.3%，GALATEA蒸馏后控制器跑到了87%左右，正好高出25个百分点。这个数字不是单个技能单独测的，是完整串联任务的成功率。

单技能维度上，统一蒸馏控制器其实并不比专家单技能模型强，例如单独测抓取，单技能精调模型可以到89%，GALATEA大概在84%。但连续任务才是真实世界的样子，单技能模型轮流上场，一旦交接掉链子，之前的收益全赔进去。统一控制器没有交接点，整个轨迹是连续的，切换错误率大幅降低，串联任务成功率自然拉开差距。

另外25%还有一部分来自控制频率的提升。教师模型推理延迟太高，只能跑20Hz左右；蒸馏出的学生网络在NVIDIA算力平台上能稳定跑70Hz以上。控制频率上去了，闭环纠错能力会成倍增强。同样一个姿态修正，20Hz下可能修正三次才到位，70Hz下同样的时间能修正十次，误差自然更小。

5. 常见问题与排查技巧实录

5.1 仿真训练期间的高频翻车

第一大类问题来自“策略钻仿真漏洞”。最经典的案例是夹爪利用物理引擎的穿透特性，把物体卡进桌面缝隙里，接触检测误判为“夹持成功”。我们后来对所有非预期接触加惩罚，并启用连续碰撞检测，这一招立竿见影。还有一个例子是推拉任务里策略依靠“把物体推下桌面”来获得边界外奖励，因为目标方向的设定有bug，后来加了硬性支撑面约束才解决。

第二大类问题是联合训练时的“技能抢夺”。如果四种任务数据比例不当，模型会把注意力全放在数据占比高的任务上，其他技能直接躺平。解决办法不是拍脑袋定比例，而是每隔一定步数统计各技能的成功率，根据成功率动态调整当前batch里的数据采样权重。表现好的技能少喂点数据，表现差的技能多喂点，让四个技能保持在相近的训练进度上。

5.2 蒸馏阶段最容易忽略的坑

蒸馏数据要不要保留失败轨迹？一开始我嫌失败轨迹里的动作“脏”，直接过滤掉了。结果学生模型在真机上表现出现一个奇怪现象：平时动作看着还行，但一旦物体滑出预期位置，机械臂会做出很激进的动作试图救回物体，撞到旁边的障碍物。后来想明白了，失败轨迹里有大量边界信息，教师探索时学到的“不做某事”同样重要。把失败轨迹按比例放回数据集之后，学生的边界避让行为明显规整了很多。

另一个容易中招的是时序依赖问题。多条轨迹拼接时，如果文本序列或者Transformer的context窗口跨越了不同技能的边界，学生会在衔接点看到“抓取刚结束马上出现移动任务”的错误关联。我们把轨迹按技能拆分存储，每个样本只包含单一技能的时间窗口，切换点的行为由条件编码负责，而不是由上下文记忆负责。这个坑当时让我排查了整整一周。

5.3 真机部署时的工程细节

模型本身只是控制器的一部分，部署管线里的坑同样不少。推理框架建议直接上ONNX Runtime或TensorRT，固定batch size为1，锁GPU显存，控制线程和感知线程之间用双buffer方案，避免某一帧推理抖动拖垮整个控制环。我们实测里，不加任何优化时推理延迟抖动有正负15ms，加了线程优先级和双buffer之后抖动压缩到3ms以内。

控制频率的高度直接跟末端速度上限挂钩。如果只能跑到20Hz，千万别把末端速度上限设得太高，否则相邻两帧之间的位移量太大，轨迹完全没有平滑性，机械臂会明显抖动。学生网络跑到70Hz以上之后，末端上限可以放开，真机运动轨迹会更接近仿真里教师策略展示的连续感。

夹爪映射也要多说一句。把夹爪动作直接映射成二值开合，会在调姿态阶段惹出大麻烦，机械臂一边旋转物体一边夹爪重复开合，物体很容易被颠掉。连续夹持力度映射解决了这个问题，虽然控制代码更麻烦，但抓取稳固性明显提升。

最后说点个人感受。GALATEA这个项目最让我觉得值得的，不是那个25个百分点的提升数字，而是把“仿真训练-统一建模-蒸馏部署”这条链路彻底盘活了。以前每接一个新技能，都是从数据采集开始推倒重来；现在就算换一个机械臂、加一个新操作，要改的只是仿真场景定义和蒸馏数据配比。另外有个小经验想分享：如果你也要复现类似方案，蒸馏数据集里可以混入大约10%的真实轨迹，混合后真机表现还能往上走一截，但别贪多，真实数据太贵，比例一旦超过30%，反而会把仿真域随机化的鲁棒性稀释掉。希望这篇记录能给你省下几个月的试错时间。