GenMimic：让机器人从生成视频中学动作

视频生成模型在新颖场景下合成人类动作的能力正迅速提升，有望成为情境化机器人控制的高层规划器。然而，要实现这一潜力，一个核心研究问题仍未解决：「类人机器人如何以零样本方式执行生成视频中呈现的人类动作」？最大难度在于生成视频通常含噪声且存在形态失真，相较于真实视频，其直接模仿难度更大。GenMimic是一款物理感知的类人机器人控制框架，「首次实现了机器人对生成视频中人类动作的零样本模仿」：通过「视频像素→4D 人体重建与形态重定向→机器人动作执行」的两阶段管道，结合含加权关键点跟踪奖励和对称正则化的强化学习策略，在含428个视频的GenMimicBench合成数据集上验证了有效性，仿真中特权教师策略成功率达86.77%，在Unitree G1机器人上实现了连贯稳定的动作复现，无需任务特定微调，为视频生成模型作为机器人高层规划器提供了可行路径。研究背景与目标视频生成模型已能合成新颖场景下的人类动作，有望成为机器人高层规划器，但生成视频存在噪声和形态失真，无法直接用于训练，导致机器人难以零样本模仿。本研究的核心目标是构建鲁棒框架，让类人机器人无需任务特定微调，就能从这类生成视频中复现物理可行的人类动作。
核心框架两阶段动作转换管道整个流程从生成视频到机器人动作执行分为两步。「从像素到4D人体重定向」：先通过文本提示驱动视频生成模型合成人类动作视频，再用TRAM模型从视频中重建4D人体轨迹，提取每帧的全局姿态、SMPL形状参数和关节角度，最后通过PHC工具将这些人类轨迹重定向到机器人的形态，输出机器人空间中的目标3D关键点。「从4D人体到机器人动作」：以目标3D关键点和机器人的本体感受信息（包括关节位置、速度、根节点角速度等）为输入，通过GenMimic策略预测物理可行的期望关节角度，再由PD控制器输出扭矩驱动机器人运动。两阶段管道的核心逻辑与完整流程GenMimic策略设计GenMimic策略是实现鲁棒模仿的核心，包含两大关键设计。「加权关键点跟踪奖励」：不同身体关键点的重要性不同，末端执行器（手、头）对任务执行和物理稳定更为关键，因此对这类关键点赋予高权重（权重值为4），下半身关键点赋予低权重（权重值为1），通过加权组合的方式计算跟踪误差，让策略优先关注任务相关的可靠特征，减少低质量区域噪声的影响。「对称损失」：利用人体双侧对称性，在PPO训练目标中加入辅助对称损失，当单侧动作存在噪声或误差时，策略可借助镜像侧的信息进行校正，提升抗噪性。策略采用「学生-教师训练框架」：在IsaacGym仿真平台中，用PPO算法训练特权教师策略（可获取完整仿真状态信息），再通过DAgger算法将教师策略的行为蒸馏到学生策略（仅依赖观测信息）中。训练数据来自AMASS数据集，经过重定向和筛选后，保留8123个物理可行的机器人形态动作，训练过程采用1.5B样本，借助4块NVIDIA RTX 4090 GPU完成。GenMimic的训练和测试管道，包括训练中用到的加权关键点奖励、对称损失模块，以及测试时从生成视频到机器人执行动作的流程关键数据集：GenMimicBenchGenMimicBench是专门用于评估零样本泛化能力与策略鲁棒性的合成人类动作数据集，共包含「428个合成视频」，由「Wan2.1-VACE-14B」和「Cosmos-Predict2-14B」两款视频生成模型生成，覆盖「受控室内与真实野外」两类场景，动作复杂度从简单手势到多步骤物体交互不等。其中，Wan2.1子集包含217个视频，基于NTU RGB+D帧生成，属于受控室内场景，提供同步的前、左、右三个视角，涵盖5个不同受试者，动作分为四类：简单上半身手势（如摸头、比心、挥手）、简单上半身动作与行走结合（如行走时摸头）、复合上半身动作（如摸头→比心→挥手）、复合上半身动作与行走结合；Cosmos-Predict2子集包含211个视频，基于PennAction帧生成，呈现类YouTube的真实野外场景，画面存在 clutter 环境、多变相机运动和不均匀光照，包含8个受试者，动作涵盖简单手势、物体交互（如开门、提书、举哑铃）、多步骤动作序列（如走向书架取物）等。该数据集的核心价值在于，它包含了生成视频固有的噪声和失真问题，能有效测试策略的鲁棒性，这些挑战包括外观与光照漂移、动作不流畅、物理不可行姿态、身体遮挡与相机运动干扰等。GenMimicBench的典型动作示例，包括开门、比心、复合手势等更多数据集动作案例，涵盖行走与手势结合、物体交互等复杂动作数据集中存在的噪声视频示例，包括身体遮挡、物理不可行姿态、相机运动干扰、动作过渡不流畅四种典型问题四、实验结果仿真实验实验在GenMimicBench数据集上开展，对比了GenMimic与GMT、TWIST、BeyondMimic等多款基线方法，评估指标包括成功率（SR，机器人不摔倒且全局位置偏差不超过0.5米的 rollout 占比）、全局关键点位置误差（MPKPE）、局部关键点位置误差（LMPKPE），以及无终止条件下的无条件误差（MPKPE-NT、LMPKPE-NT）。结果显示，GenMimic「在特权策略和非特权策略设置下均显著优于基线」。其中特权教师策略表现最佳，成功率达到86.77%，MPKPE为16.63±1.06厘米，MPKPE-NT为20.46±5.73厘米；非特权学生策略成功率为29.78%，MPKPE-NT为62.48±13.48厘米。
相比之下，GMT的非特权策略成功率仅4.29%，TWIST的特权教师策略成功率仅2.69%，BeyondMimic的成功率为23.81%，均远低于GenMimic。真实世界实验实验采用23自由度的Unitree G1类人机器人，测试了GenMimicBench中的43个动作，以视觉成功率（VSR，动作与生成视频视觉一致且无失稳）为评估指标。结果显示，简单上半身动作（如挥手、摸头、复合手势序列）的VSR均达到1.0，完全实现稳定模仿；行走类动作（单纯行走）VSR也为1.0；但涉及下半身复杂动作的VSR较低，如迈步+动作的VSR为0.40，转身+动作的VSR为0.41，行走+转身的VSR仅0.20，抬腿动作的VSR为0.0。分析认为，这一差异源于生成视频中下肢动作的轨迹失真或物理不可行，导致策略难以稳定复现。真实世界实验的硬件 setup消融实验为验证核心设计的有效性，研究开展了消融实验，结果表明：以3D关键点作为观测输入，比以关节角度（DoFs）作为输入更能提升策略在噪声数据上的性能；加权关键点奖励能持续提升跟踪精度，且在3D关键点输入下的鲁棒性提升更为显著；对称损失进一步增强了策略的抗噪能力，三者结合（即完整的GenMimic教师策略）能实现最佳性能，在AMASS测试集上的成功率达99.3%，在GenMimicBench上的成功率达86.8%。
核心贡献与局限核心贡献提出首个通用框架，让类人机器人能零样本执行视频生成模型合成的人类动作；设计GenMimic强化学习策略，通过加权关键点奖励和对称正则化，实现对噪声生成视频的鲁棒模仿，且仅依赖现有动作捕捉数据训练；构建GenMimicBench数据集，为零样本泛化与策略鲁棒性评估提供了可扩展基准；通过仿真与真实机器人（Unitree G1）实验充分验证，性能显著优于现有基线。局限动作轨迹质量受生成视频质量和4D重建效果限制，生成视频与真实视频的领域差异会影响策略表现；训练数据仅依赖AMASS数据集，多样性有限，可能制约策略对更多复杂动作的泛化能力；目前仅支持简单和复合动作的模仿，未覆盖跑跳等动态复杂动作，且直接依赖3D关键点作为输入，缺乏对不同类型动作的统一表征。