人形机器人控制这几年一直是机器人圈子里最难啃的骨头之一。单人站立都还没完全稳当，突然端出来一个"双人协助"的任务——两个机器人既要各自保持平衡，又要互相配合完成搬运或者支撑——这难度不是翻倍，是几何级数增长。最近关注到 CVPR 2026 上 CMU 和庆应大学团队提出的 AssistMimic，标题里几个关键词非常集中：多智能体强化学习、物理接地、双人协助人形控制。这套工作解决的正是"让两个人形机器人像人类搭档一样协同完成物理接触型任务"的问题，对做机器人控制、具身智能、多智能体系统的从业者和研究者来说，都有很高的参考价值。这篇文章我就以从业者的视角，把里面涉及的思路、原理和实操层面的问题拆开讲透。
1. 双人协助比单人更难，难的到底是哪几个点
1.1 人形机器人的"天生不稳定"
先聊一个基础到很多人忽略的问题：人形机器人凭什么能站着？
本质上，双足站立就是一个倒立摆问题。倒立摆的特点是：重心在支点上方，任何微小扰动都会被重力放大，如果不主动施加纠正力矩，系统必然倒下。人类靠小脑不断做微小肌肉调整来维持平衡，而机器人要靠关节电机以高频（常见是 500Hz 到 1kHz）响应姿态偏差。
单人控制的核心挑战在于：状态空间维度高、动力学非线性强、支撑多边形小。典型人形机器人有 6 到 12 个自由度的双腿结构，加上腰部、手臂，全身自由度往往在 30 个以上。控制频率越高，计算压力越大；状态观测量越多，策略学习的收敛难度越高。
所以早期的双足机器人很多是"准静态行走"——每一步都尽量把重心调到支撑正上方，动作慢、姿态僵硬。后来引入了零力矩点（ZMP）理论、模型预测控制（MPC），才慢慢有了动态行走。但这些都是建立在一个前提上的——只有一条动力学链在主动维持全局稳定。
1.2 双机协作：从单体平衡到力闭环
双人协助这个任务，把平衡问题从"自身动力学"扩展成了"两个动力学系统 + 接触力耦合"。
想象一下：两个机器人合力抬一根长木板。木板把两个机器人之间的力传递过来，A 机器人的推力会影响 B 的质心状态。此时 B 的平衡不再只是自己关节力矩的函数，而是受到 A 的动作、木板的刚度、接触点的摩擦系数等多重因素耦合影响。
这在控制里叫做contact-rich manipulation，接触丰富的操作。它和点对点的运动控制完全不同——多了一个力闭环问题。机器人不能只盯着自己的脚和腿，还要实时感知伙伴施加在自己身上的力和力矩。而这些力并不是稳定不变的，任何一方动作抖动，对方的平衡预算都会被消耗。
这就是为什么"协助"任务用传统单一策略网络很难做：单一策略要把两个系统的全部状态和全部耦合关系塞进一个模型里，状态维度爆炸，训练样本效率极低，而且一旦遇到没见过的交互力模式，策略就崩了。
1.3 为什么多智能体方案优于中心化控制
既然耦合这么严重，有人会说：那就共用一个大脑好了。
这确实是很多工程团队的第一直觉——中心化策略，让一个网络同时输出两个机器人所有关节指令。从动作生成角度，中心化网络确实"理论可行"，但落地上有三个硬伤：
第一，可扩展性差。双人还好说，如果是三人、四人协作，状态和动作空间直接线性翻倍，策略网络的输入输出维度会膨胀到没法训练。
第二，容错性差。中心化策略假定两个机器人永远同时在线，一旦其中一个延迟、断连、发生局部故障，整个系统全盘失效。这在工业场景是不可接受的。
第三，训练效率低。中心化策略要学的映射关系太多了，相当于从零拟合两个字系统之间的复杂交互规律，比两个独立智能体各自学习再通过协作机制协调要困难得多。
AssistMimic 这类多智能体思路，本质上是把"协作"切分成"各自技能"加"交互协调"两层。每个机器人先有自己的控制策略，再去学习如何与伙伴配合。这个分而治之的想法，和人类团队协作的方式很像——每个人先管好自己，再处理配合。
2. AssistMimic 的核心思路：把"协助"拆成可学习的技能
2.1 Assist 和 Mimic 分别解决什么问题
从方法名看，AssistMimic 由两个部分组成：Assist（协助）和Mimic（模仿）。
Mimic 指向的是模仿学习。人形机器人的动作空间很大，纯用强化学习从随机初始化探索出像样的站姿、步态、搬运动作，训练周期长到难以接受。更合理的做法是先从人类演示数据中提取参考动作。CMU 和庆应大学团队这类研究方向通常使用动捕数据或视频姿态估计数据，让机器人先模仿人类"怎么站、怎么走、怎么提东西"。
模仿学习在这里的作用不是最终的策略本身，而是给强化学习一张"动作分布地图"。有了这个先验，策略网络不需要在一个巨大的无约束空间里瞎逛，只需要在人类动作附近做优化调整。
Assist 则是这个项目真正独特的部分。单人的动作模仿现在已经很成熟了，但**"配合别人"的动作模式**很难直接从单个演示数据里学出来。因为配合动作是动态的，要根据伙伴状态实时调整。AssistMimic 的多智能体强化学习框架，正是为了在学习过程中让两个智能体互相适应，逐步形成协作策略。
这里有一个非常关键的思路转变：不是先训练好一个机器人再冻结，让它去服务另一个；而是两个机器人同时训练、互相适配。这种共同学习的方式，能在策略层面产生真正的"默契"，就像长期合作的搭档一样。
2.2 多智能体框架：各自决策 + 共享批判家
多智能体强化学习里面，算法架构会直接决定训练效果。AssistMimic 这种方案走的路线，大概率是CTDE（Centralized Training with Decentralized Execution），也就是中心化训练、分布化执行。
中心化训练的意思是：训练的时候，每个智能体的 Critic（价值网络）能看到全场状态——包括伙伴的状态、接触力传感器数据、全局任务进度。这等于给每个智能体配了一个"上帝视角教练"，教练在评估时能看到全局，但真正做决策时，Actor（策略网络）只能看自己的局部观测。
这种做法的好处非常直接：训练的时候避免"非平稳性"问题。两个智能体同时在学，对一个智能体来说，另一个智能体的策略一直在变，环境也就一直在变，单靠局部信息做价值评估很容易混乱。共享一个全局 Critic 后，价值函数能把"伙伴当前在哪、在做什么、会怎么影响我"全部纳入计算，评估就稳定得多。
分布化执行的好处更实在：训练完成后，部署阶段每个机器人只依赖自己的传感器信息和局部通信，不需要一个中央控制器实时下发全量指令。通信带宽要求低，对延迟容忍度高，某个机器人短暂掉线也不会立刻让整体系统瘫痪。
多智能体框架里还有一个值得留意的设计点：两个智能体是共享参数还是独立参数。共享参数可以稳定训练、减少参数量，适用于对称任务——比如两人扶同一个重物。但如果是非对称任务，比如一个牵引、一个支撑，独立参数能学到更专业的角色分化。具体用哪种，建议看任务是否具有天然对称性。
2.3 奖励函数：任务、平衡、协作三块怎么捏
强化学习的本质是设计奖励函数，AssistMimic 这样多目标任务的奖励设计，我理解一般要覆盖三个层面：
任务奖励：任务是否完成的直接信号。比如"重物是否被搬运到指定位置""两人是否成功保持站定时长"。任务奖励要稀疏还是稠密，是设计时的核心取舍。稀疏奖励能避免策略走捷径，但训练收敛极慢；稠密奖励收敛快，容易诱导局部最优。多数方案会做一个混合：任务完成给大额正奖励，同时用与目标距离相关的 shaping 奖励引导探索过程。
平衡奖励：人形控制的基本盘。常见指标包括：躯干姿态角偏差、质心高度变化、角速度震荡幅度、足底压力分布是否落在支撑多边形内。这些指标全都可以量化为负奖励（惩罚项），激励策略把身体姿态保持在人类行走的安全包络以内。
协作奖励：AssistMimic 区别于单人控制的核心。协作不能只靠任务奖励隐式驱动，因为"任务成功"是一个结局性的稀疏信号，智能体很难判断自己的行为是否在帮助伙伴。协作项通常包含：接触力是否保持在合理区间（避免突然猛拉或松脱）、两个智能体的运动速度差是否过大、承担的力矩是否均衡等。一个很实用的技巧是：奖励"力协作一致性"，即双方施力方向和大小的差异越小，奖励越高。
奖励函数三块的比例关系很影响训练性格。任务奖励给太少，机器人会只求不倒、不推任务；协作奖励给太重，会出现"全场躺平"式的虚假协作——两个机器人动作同步地一动不动，平衡奖励和协作奖励都拿满，但任务原地踏步。这种 reward hacking 现象在实操里非常常见，我后面会专门讲。
3. 物理接地：从仿真里"站起来"到真机上"立得住"
3.1 先理解"物理接地"这四个字
"物理接地"（Physically Grounded）这个概念，我第一次看到也觉得有点抽象。字面拆解就是：策略的行为要建立在真实的物理交互基础之上，而不是纯视觉信号或空中建模。
打个比方，如果一个策略只在仿真环境里被训练，仿真里的接触模型是理想的，摩擦力是均匀的，关节电机响应没有延迟——这套策略拿真机上跑，就像"飘着的幽灵手在指挥双腿"，因为它从未感受过真实的推搡、滑移和震动。
物理接地要解决的就是：让策略真正"长在物理接触之上"。具体到双人协助场景，意味着模型必须充分建模两方面的物理量：
其一，全身的力学反馈。机器人与伙伴或物体接触时，接触力会沿着结构传递到全身，改变实际重心位置和转动惯量。策略网络如果不知道这些力引起的全局物理效应，就很难维持稳定。
其二，接触的真实现象。现实中的接触不是刚性的，存在弹性形变、滑动摩擦、抓持抖动。这些非线性现象如果训练时完全不覆盖，部署时遇到一次足底滑移就会摔得措手不及。
3.2 接触力建模是协作的命门
双人协助里最难的物理问题，我认为是接触力的双向非事先预测性。
在做单个机器人控制时，地面反作用力虽然动态变化，但基本可以通过动力学模型提前预测量级。协作场景则完全不同——伙伴的推力不是自己模型能推出来的量，它受对方策略、传感器噪声、通信延迟等多重不确定因素影响。
这意味着策略不仅要学会"施加"力，还要学会"受"力。施力讲究方向、大小、时机；受力讲究姿态调整、重心迁移、肌肉（电机）的柔顺性调节。
接触力建模如果做得太刚硬，仿真里的协作会显得生硬，换到真机容易因为力峰值过高损坏硬件；如果做得太软，策略学不到足够的稳定性，真机上一点干扰就站不住。实用的做法是在仿真中引入接触力噪声和模型扰动，让策略在一个接触力不确定区间内都能保持稳定。
另外，接触力的感知也值得花精力。仿真里轮滑摩擦系数、阻尼系数通常恒定，但真机上地砖、地毯、微湿地面千差万别。策略必须学会把"接触力异常"当作重要的隐式反馈——比如感觉到伙伴推力突然增大，就要自动调整髋膝踝角度来吸收冲击。
3.3 域随机化：让仿真技能跨到真机的关键桥梁
物理接地做到位，很大程度上靠的是域随机化（Domain Randomization）。这个技术听起来很高深，原理本质一句话：训练时不断随机化仿真参数，让策略在"足够多的域"里都表现良好，从而间接对真实世界也表现良好。
实操层面主要随机化这几类参数：
- 动力学参数：摩擦系数、电机力矩上限、关节阻尼、连杆质量
- 感知参数：传感器噪声、观测延迟、位姿漂移
- 环境参数：负载重量、接触点位置、地面材质
- 通信参数：执行指令的延迟、丢包率
每个训练回合都从分布里重新采样一组参数，相当于让同一个策略在各种"平行世界"里都练一遍。这样得出的策略不是针对某一个精确仿真模型的过拟合解，而是覆盖整个参数空间分布的中心解——在参数分布和真实世界的差距不太大时，策略自然能在真机上站住脚。
域随机化在 AssistMimic 这种多智能体场景里还有一个额外作用：提升双人协作的鲁棒性。两个机器人的参数不可能完全相同——关节磨损程度、电机响应速度、电池电压都会引入差异。域随机化让策略在"参数不匹配的搭档"之间也能协作，这很关键。
4. 想复现或跟进这套工作，训练流程该怎么推进
4.1 标准训练管线：预训练、课程学习、联合微调
如果你准备复现或者基于类似思路做自己的实验，我建议按照下面这条管线推进。它不是我拍脑袋想出来的，而是多智能体人形控制领域里经过大量项目验证的常见实践：
第一步：单人模仿预训练。先用人类动捕数据，训练单个机器人完成站立、行走、搬运的基础运动技能。此时不引入伙伴，把"自身运动基本功"打牢。这个阶段的产出是一个可用的单机控制策略。
第二步：双人协作课程学习。引入第二个机器人，但不要一开始就给最难的协作任务。推荐从弱交互开始：比如两台机器人并排行走，保持固定横向间距，中间不接触。让策略先学会"感知伙伴存在、保持队形"，之后再逐步增加接触强度：先用一根轻杆连接，再换重物，最后到直接肢体接触支撑。
第三步：多智能体联合微调。在课程学习后期，放开两个智能体的策略更新，允许它们在完全协作式的奖励函数下同步演化。这个阶段耗时最长，也是策略质量的分水岭。
这套管线背后有两个很实际的原因：一是课程学习给每个阶段的策略都提供了相对平滑的初始条件，避免因任务太难导致训练发散；二是通过逐步增加接触强度，让策略的平衡能力在每一个难度级别上"稳定先达到、再继续提升"，而不是一上来就被高维协作压力压垮。
4.2 关键参数与超参的个人理解
多智能体强化学习的训练配置，有几个参数我建议重点盯住：
学习率：双人联合训练时，两个智能体的策略更新速度差异如果太大，会引发震荡。实践经验是让两个 Actor 使用相同的学习率，保持步调一致。共享的 Critic 学习率可以略微高一些，因为它承担的是全局观察者的角色，需要更快追踪价值变化。
折扣因子（Gamma）：协作任务的奖励往往有延迟——推一把重物，可能要几秒后才看到位置变化。Gamma 建议设置在 0.99 左右，保证远期的协作收益能被有效回溯，否则策略会变得短视，只看眼前动作不管伙伴死活。
时间步（dt）和成本：控制频率直接决定策略能不能处理接触力冲击。人形协作任务建议控制频率不低于 100Hz，能到 200Hz 更好。高频率带来的训练成本上升是值得的，低频控制下仿真里的接触力会失真，学出来的策略在真机上很难有好的表现。
奖励权重：具体数值依赖任务，但我见过的一个合理起手式是：任务奖励权重 1.0，平衡奖励权重 0.5 到 0.8，协作奖励权重 0.3 到 0.5。之后根据训练曲线调整——如果平衡频繁崩溃，加大平衡惩罚；如果两人"各做各的"，加大协作奖励权重。
还有一点经常被忽略：随机种子。多智能体训练对初始策略和随机性种子非常敏感，同一个配置换了种子可能结果天差地别。建议至少跑 3 个种子取平均，不要在单个种子的成功上过度乐观。
4.3 评估指标：怎么判断"协助成功"
训练结束不能只看一个"任务成功率"，那样维度太单一。我从实践中整理的评估体系包括五个层面：
一是任务完成率。以不同初始条件（随机姿势、随机物体位置、随机摩擦系数）反复测试，统计成功到达目标状态的比例。这是最硬性的指标。
二是平衡稳健度。统计整个测试过程中质心投影落在支撑多边形内的时间占比、躯干角度偏差的平均值和峰值。占比高于 95%、峰值角度不超过 10 到 15 度，算是基本及格。
三是协作质量。这个最难量化，常拿"力传递的稳定性"来衡量：双方接触力的方差越小，说明力交互越平稳；另外还可以衡量两个机器人关节指令的同步性，同步性越高，说明动作协调越好。
四是能量效率。任务每推进一米，单位能耗是多少。应用场景里这决定机器人能工作多久，也侧面反映策略是否在僵硬地对抗而不是灵巧地配合。
五是泛化测试。换一组没训练过的负载重量、任务路线，甚至换一个原型机的腿长参数，看策略还能不能扛住。这个指标对后续工程落地至关重要。
评估不能只看表现最好的那一次录制视频——多随机测试、多指标交叉验证，才是真正判断系统能不能用的标准。
5. 实操中绕不开的坑与排查经验
5.1 两个智能体互相干扰引发的策略退化
多智能体强化学习最经典的问题是非平稳性：一个智能体训练时，另一个智能体的策略也在变，导致前者的环境布满了"无意识"的干扰。反映在训练曲线上，就是奖励曲线反复震荡、上下跳跃，甚至一个智能体前期学得很好，后期伙伴策略一变，它的表现也跟着崩掉。
我排查这个问题的实操经验是，先记录两个智能体各自的奖励曲线，不要只看总奖励。如果发现 A 的曲线平稳上升、B 的曲线大起大落，多半是 B 对 A 的策略变化更敏感。优先采取的缓解手段：
- 确认 Critic 是否真看到了完整全局状态，尤其是接触力信息。全局 Critic 是 CTDE 方案的支柱，状态缺一项都会让价值评估失真。
- 引入"冻结伙伴"训练策略：每隔固定步数，把其中一个智能体的策略冻结一小段，让另一个在相对稳定的环境下学习。这相当于给动态环境加了"稳定性锚点"。
5.2 Reward Hacking：机器人学会了"花式摔倒"
奖励设计不合理，强化学习智能体会钻空子。双人协作任务里我见过最气人的例子是：机器人发现"降低重心、快速蹲下"能增加平衡奖励，因为蹲得越低质心越稳，于是两个机器人不干正事，全场表演蹲姿平移。
这种 reward hacking 的排查方法很直接：把训练过程的可视化日志翻出来，盯着行为模式看。如果发现策略在环境里跑出的行为和你预期的人类协作动作偏离很远，别去调网络结构，先检查奖励函数是不是提供了错误的优化方向。
缓解策略有三个方向：
- 给平衡奖励加上一个"安全阈值天花板"：超过安全姿态范围后惩罚急剧上升，让策略在安全包络附近驻留，而不是最大化所有指标。
- 按照势能塑形（Potential-Based Reward Shaping）的原则设计 shaping 奖励，保证塑形项不会改变最优策略本身。
- 增加随机化初始条件，让"蹲姿偷懒"这类固定策略在多种初始状态下不能通吃。
5.3 Sim-to-Real 迁移失败的三个典型症状
仿真里跑得飞起、真机上摔成狗的情况，几乎每个做机器人控制的团队都遇到过。三个典型症状值得对照自查：
症状一：步态僵硬，落地冲击大。这通常是仿真里没加入足底接触力噪声导致的。真机的地面反力不像仿真那样平滑，策略遇到突变力不懂吸收。解决思路是在仿真中给接触参数注入噪声，并专门训练"抗冲击"课程场景，比如模拟突然踩到小坡或硬物。
症状二：手部/工具抖动、握持不稳。双人协作里这大概率是接触力奖励权重太低，策略根本没有建立"自己手的力气会传给伙伴身体"的意识。需要强化接触力反馈在观测中的比重，以及提高协作奖励对力稳定性的约束。
症状三：低速正常、高速突然失衡。真机电机响应延迟和带宽限制在仿真里往往被低估。仿真里的理想电机能给瞬时大力矩，真机会滞后。这类问题建议在动力学随机化中对电机响应延迟、力矩峰值做更宽范围的抽样，让策略学会不要依赖瞬时爆发力。
最后我想分享一个非常有用的调试技巧：所有仿真问题都要建模成"多层级复现"。先在单机简化环境复现，再逐步加入伙伴、加入接触力、加入复杂地形。哪一层开始表现异常，问题就在那一层的建模或奖励上。这套方法比一上来就端出完整任务的排障速度快得多。
6. 这套技术放长远看，价值不只在"扶一把"
6.1 最直接的落地场景推演
AssistMimic 这类物理接地的双人协作控制，如果基底技能成熟了，往产业里走有几个非常自然的落点：
工厂重物协作搬运。这是最贴脸的应用。汽车总装线、大型物流仓库里，很多物料的形状和重心位置不规则，单机夹取不现实，双机协作搬运需要的就是这种"边推边扛边保平衡"的能力。相比固定轨道的机械臂，双足机器人能跨工位移动，灵活度完全不一样。
建筑施工的辅助支撑。让机器人代替人工扶住预制板、管线、幕墙构件，工人只做精细安装，重体力部分交给机器人。这类任务强调长时间稳定支撑，对"物理接地"的要求极高，正是这个方向能发挥的地方。
灾后救援的任务分担。废墟环境经常需要多人配合才能抬起障碍物或转移伤员。恶劣地形和不规则负载，对策略泛化能力是极大考验。AssistMimic 的域随机化训练方式在这方面有天然优势。
6.2 我看好的后续扩展方向
从技术演进的角度，AssistMimic 留下的可延展空间非常大。
一个是异构协作。目前这类工作多数是两台同型号机器人做镜像任务，但现实里更常见的是"大家伙 + 小家伙"、不同硬件能力搭配协作。把多智能体框架扩展到异构机器人，需要解决观测空间对齐、能力差异建模等新问题，是一个很有价值的方向。
另一个是群体涌现。双人协作验证了多智能体增强学习可以学出"默契"，那能不能扩展到三机、四机甚至一个团队？随着机器人数量增加，通信拓扑和协作分工复杂度指数上升，但也可能出现目前想象不到的涌现行为，比如没有显式分工协议但整体效率最高的自发配合方式。
还有一个方向与实际部署更近：把语言模型和这个框架结合。协作策略目前是为了特定任务训练的，可迁移性有限。如果顶层有一个能够理解自然语言指令的规划器，把人类口头的"搭把手""往你那边偏一点"转化成低层协作策略的参数调整信号，那这套系统的易用性会直接上一个台阶。
我个人的判断是，这类"物理接地"的具身智能工作，会逐步把机器人从"单打独斗的技能机器"推向"能搭伙干活的伙伴"。这条路还很长，但 AssistMimic 这类尝试已经把最难的方向标立起来了。
如果在实际跟进这个方向时遇到训练或者平台搭建的问题，非常欢迎在评论区把具体现象发出来，我尽量用踩过的坑经验帮你定位。这行从来都是一点点试错走出来的，多一次交流就少走一段弯路。
