世界-动作模型：机器人学习从预测到控制的工程落地

做机器人学习这些年，我越来越认同一句话：机器人学不会“物理直觉”，就跑不远。早几年大家一门心思堆网络层数、刷仿真任务得分，结果模型放到真机上往往一塌糊涂——泛化差、易振荡、对扰动毫无招架之力。直到世界模型（World Model）和动作模型（Action Model）被揉进同一个框架，情况才真正开始变化。这类统合方案通常被叫作“世界-动作模型”（World-Action Model），核心就一句话：机器人既要能预测环境接下来会发生什么，也要能基于预测生成正确的控制指令。这篇文章不打算写成论文摘要集，而是从工程角度把世界-动作模型的来龙去脉、模块拆解、训练范式、部署链路和典型坑位完整过一遍，适合正在做机器人学习入门、准备把高级AI模型落到真实电机控制上的朋友。

1. 先厘清概念：从世界模型到世界-动作模型

1.1 世界模型在机器人学习中的角色

世界模型这个概念本身并不新。它最早被广泛关注是2018年前后，当时那篇“World Models”用了一个赛车游戏环境，让智能体在“梦境”中训练——所谓梦境，就是模型在虚拟的隐空间里自己推演未来，然后基于推演出的轨迹来规划动作。这套思路的突破点在于：智能体不再把每一帧图像当作独立数据，而是学会一套关于“状态如何随时间变化”的内部规律。用大白话说，它开始理解“我踩油门之后，车子会往前冲”这类因果关系。

到了Dreamer系列工作，世界模型被进一步推实到视觉连续控制任务。它把图像输入编码成紧凑的潜在状态，用循环网络充当动态预测器，再在预测出的未来轨迹上裁剪强化学习目标。这样做的好处非常直观：真实环境交互成本高，能试错的次数有限；模型只要学会了环境动态，就可以用“想象”代替大量真机探索，样本效率比传统无模型强化学习高出一大截。

但在很长一段时间里，世界模型和动作生成是分开的两个系统。一边负责“预测未来”，另一边单独做“根据状态选动作”。两个模块各自训练，最后拼到一起，接口处经常出问题：预测器的误差被策略放大，策略学会的动作又超出了预测器训练时的数据分布。可以说，这是世界模型在实际机器人任务上落地缓慢的一个关键原因。

1.2 世界-动作模型的核心思路与判定标准

世界-动作模型（World-Action Model）的出发点，就是把“预测世界”和“生成动作”这两件事放在同一个模型里联合优化。我见过不止一个团队把它误当成“世界模型外挂一个策略网络”，实际上两者有本质区别。

关键差异在于：传统做法是先训练一个动静态分离的世界模型，再去单独学习策略；而世界-动作模型则希望让动作生成和世界预测共享一套隐空间，甚至在训练目标上互相约束。动作并不只是世界模型的“输入扰动”，它本身也是一个预测目标。打个比方：传统方案是“先学会物理，再学开车”；世界-动作模型是“一边学物理，一边学着碰方向盘，两者共享同一套对路况的抽象理解”。

那怎么判断一个模型算不算世界-动作模型？我一般看三点：

• 是否有显式的状态转移预测模块，而不是直接从图像到动作的“黑箱映射”；
• 动作生成是否以预测的未来状态序列为中间依据，或者至少与动态预测共享表征；
• 训练时是否对着“预测误差”和“控制目标”联合反传。

满足以上三点，基本就能归入世界-动作模型的范畴。现在很多视觉语言动作模型（VLA）也声称自己包含世界模型，但不少只是用预训练视觉主干，并没有真正的动态预测闭环，这一点读论文时得额外留神。

1.3 与经典模型预测控制的边界关系

做控制出身的朋友可能马上会联想到模型预测控制（MPC）。MPC本质上也是“用模型预测未来，然后滚动优化动作序列”。世界-动作模型和MPC确实有千丝万缕的关系，甚至不少实现会在推理时调用MPC的优化器。

我的理解是：MPC更偏向一种控制框架，它不关心模型从哪来，只要能对系统动态给出足够准的预测，就能工作。传统MPC用的模型往往是机理模型或简单线性化模型，而世界-动作模型里的动态预测器则是从数据里习得的非线性模型。后者最大的优点是适应复杂高维状态空间，比如直接从摄像头像素预测机械臂末端受力，这是传统机理建模很难做到的。

但也要说句公道话：世界-动作模型的预测精度通常达不到精准白箱模型的水平。所以现在工业级部署里，比较稳的组合是“世界-动作模型负责生成参考轨迹，底层MPC或PID负责跟踪这条轨迹”，各管一段。这样既能享受学习模型的高适应性，又保留了反馈控制的稳定性。

2. 拆解世界-动作模型的五个关键模块

2.1 感知表示：从像素到紧凑状态编码

世界-动作模型的第一步，是把高维观测压缩成低维表示。这里的观测可能是相机图像、深度图、关节角度、力矩反馈等。我最早做这个模块时犯过一个错误：直接拿预训练图像分类网络的骨干来提特征，结果发现预测器老是预测不准。原因不复杂：分类网络的中间层特征保留了语义信息，却丢掉了精细的空间位置与尺度不变性，而机器人控制恰恰对这些细节极度敏感。

正确做法一般有两种。一种是自监督重建式表示学习，比如用变分自编码器重构图像，潜在向量中能保留足够的空间细节；另一种是基于对比学习的表示，拉近“同一时刻不同视角的观测”，推远“不同动作造成的差异”。实操中我更推荐前者，因为机器人控制任务里，像素级的几何信息远比全局语义重要。模态上还要注意，直接把关节角度、力矩和图像特征拼成一个超长向量，往往会让训练不稳定。比较稳妥的处理是按数据源分组编码，再用一个小型Transformer做跨模态融合。

2.2 动态预测器：环境演化的引擎

动态预测器是整个模型的心脏。它负责回答一个问题：给定当前状态和动作，下一步状态是什么。实现上最主流的做法是循环潜在动态模型，也就是在整个轨迹时间轴上迭代更新潜在状态。每一步输入上一时刻的潜在状态和动作，输出这一时刻的状态预测。

这里有个常见认知误区：预测器的目标不是“把图像预测得多清晰”，而是“把与控制决策相关的状态预测准”。也就是说，一只机械手在抓杯子时，系统真正要预测的是杯子会不会被抓起、抓取位置会不会滑移，而不是人类意义上的“杯子长什么样”。所以在设计预测损失时，得根据任务自动对齐。比如在消融实验里，我见过团队对图像预测设置太大权重，结果模型把所有容量都用来“画像素”，动作误差反而变大。这点在看到公开代码的默认超参时也最好检查一下。

2.3 动作生成头：与预测共享表征是关键

动作生成头负责把当前状态、目标信息转换成一个可执行的动作。在连续控制任务中，输出通常是关节速度或力矩；在离散任务中，可能是几个有限选项的概率分布。很多人觉得动作头就是“一个MLP接在状态编码后面”，其实没那么简单。

共享表征的意义在于，动作生成需要依赖动态预测器对未来的推演。比如当机械臂要插一个USB接口，模型需要先在内部推演“我往这个方向挪5毫米后，孔隙对齐程度会怎么变化”，然后才决定怎么输出动作。动作头如果和预测器完全是并联结构，就丢失了这个“内心演练”的过程。现在比较成熟的实现是让动作头接收的不只是当前潜在状态，还包括预测器rollout出来的未来潜在状态序列，做一个加权聚合后再产生动作。这类结构看起来只多了几步张量操作，训练收敛速度和最终性能却能拉开明显差距。

2.4 条件化机制：目标、语言指令与任务嵌入

机器人任务很少是“无目的地闲逛”，更多时候我们需要用目标图、语言指令或者一个末端位置来指定任务。世界-动作模型需要在内部加入条件化机制，让同一个模型服务多个任务。

目前用得最多的是交叉注意力条件化：把目标图片或文本指令编码成一组token，在动态预测器和动作生成器的每一层都插入注意力交互。这样模型在预测未来时就会“盯着目标看”，生成动作也自动对齐任务要求。这块我提醒一句：任务嵌入要尽早加入，而不是在模型最后的输入口才拼进特征向量。早期加入能让动态预测器也感知任务条件，否则容易出现“预测老兵练得很准，但一换任务就完全失准”的割裂感。

2.5 损失函数与联合训练目标

世界-动作模型的损失函数一般由三大部分组成：动态预测损失、动作模仿或强化学习目标、以及可选的辅助损失。动态预测损失最常用的是均方误差，但直接对所有状态维度做均方差可能被动作变化量大的关节主导。我习惯先对各维度做标准化，再按任务手动调整权重：比如末端位姿的权重可以大于关节角度的权重，因为很多操作任务最终最关心的是末端执行器。

强化学习目标在联合训练中要谨慎处理。如果动作头和预测器一起被策略梯度更新，容易出现学到了“预测作弊”：模型发现只要把未来状态预测得乐观一点，策略梯度就更大，于是开始自欺欺人。所以不少实现会给动态预测器设置一个单独的、更保守的学习率，或者干脆冻结预测器参数只更新动作头几轮，等动作分布稳定后再解冻预测器。

3. 训练数据、范式与仿真到现实的落地

3.1 数据路线：离线轨迹、人类视频与仿真数据

训练世界-动作模型需要高质量状态-动作序列数据，来源主要有四类。第一类是机器人真机遥操作数据，质量最高但采集费时费力；第二类是仿真环境自动采集的数据，成本低但存在与真机不一致的仿真偏差；第三类是互联网视频，这几年很火，因为数据量庞大，但动作标签缺失，只能用来预训练感知模块；第四类是混合数据，比如先从仿真里学动态，再用少量真机数据微调。

我个人的体会是，样本结构比样本总量更关键。一个包含大量失败轨迹的数据集，往往比一个全是成功演示的数据集更重要，因为动态预测器需要知道“错误操作会导致什么后果”。早期我曾犯过只看成功演示训练的毛病，结果模型对障碍物碰撞毫无反应，因为训练数据里根本没有碰撞时刻的“后续状态”。

3.2 预训练-微调的两阶段范式

现在做机器人学习普遍流行“预训练大模型，再用领域数据微调”的套路。世界-动作模型也遵循这个逻辑。预训练阶段通常用海量视频学习通用视觉动态，比如看到桌面场景就能预测物体轻微的滑动趋势；微调阶段则用目标任务的少量数据，把模型从“通用预测器”改造成“特定机器人专属预测器”。

这几年VLA模型大量涌现后，很多人直接把预训练语义模型拿来当世界-动作模型的底座，但效果常常不理想。原因在于语义模型对文本图像对应关系学得太多，对空间动作条件学得过少。如果你要从零搭一个世界-动作模型，我建议预训练阶段至少包含两类任务：一是视频帧预测，二是动作条件状态预测。这样模型在前期就对“动作影响状态”这一因果链条形成先验。

3.3 仿真到现实的工程细节

仿真到现实（Sim2Real）是世界-动作模型落地中最容易翻车的一环。常见的做法是域随机化：随机化仿真里的光照、纹理、摩擦系数、负载质量等参数，让模型见过多种环境变化。但要注意，不是随机化得越猛越好。随机化范围过大，模型会被迫学一个“各项均值模糊”的动态，到任何具体环境下都预测不准。

另一个细节是系统延迟校准。模型在仿真里预测动作作用的那一瞬间，真机上因为摄像头采集、推理通信等环节，实际上已经晚了一两个控制周期。世界-动作模型的预测器必须显式把延迟建模进去，否则真机表现会明显变差。我一般在采集真机数据时同步记录时间戳，然后统计从“观测输入”到“控制指令生效”的端到端延迟，把它作为固定量喂给模型。

4. 真实机器人控制落地：从模型输出到电机指令

4.1 控制频率的匹配：模型推理时间与系统响应

模型再好，执行层跟不上也白搭。世界-动作模型通常部署在机载电脑或服务器上，一次推理时间可能在10到50毫秒之间，但底层电机控制环往往需要1kHz甚至更高的频率。直接把模型输出当成最终力矩指令，是很多新手常犯的错误——推理一旦卡顿，电机控制频率跟着波动，系统稳定性立刻崩盘。

标准的做法是设计两级控制结构：上层世界-动作模型以较低频率（比如10到30Hz）输出参考位置或参考速度；下层PID或FOC控制环以高频执行跟踪任务。简单说，模型只负责“决定往哪儿走”，底层控制负责“怎么走得不抖”。我做过一个机械臂插拔实验，如果让模型直接输出关节力矩，末端抖动很大；改成模型输出关节目标位置，再让底层位置环去追踪，插拔成功率直接翻倍。

4.2 执行层的典型衔接方式：位置、速度与力矩模式

机器人的执行层会提供不同的控制模式。位置模式最省心，模型输出目标角度，底层伺服自动平滑逼近，安全性好，但对环境力反馈不敏感。力矩模式反馈快、柔顺性好，可一旦模型有误判，可能瞬间输出危险力矩。速度模式居中，常用于移动机器人的轮速控制。

我的经验是：首次在硬件上跑新模型时，无条件选择位置模式。先把模型的推理正确性和轨迹合理性验证完，再加阻抗或力控制，最后才考虑全力矩模式。而且不管采用哪种模式，都要在软件层面设置输出限幅、变化率限制。比如把关节加速度限制在电机可以接受的范围内，这比任何安全算法都直接管用。

4.3 小型实战闭环：把模型输出接到STM32或舵机控制

对于刚入门的硬件爱好者，完整高层框架很难短期部署，但可以先跑一个缩小版闭环：用仿真数据训练一个简单世界模型，预测两轮差速小车的未来位置，然后输出期望线速度；底层用STM32接收串口指令，把期望线速度转换为左右轮PWM占空比，再用编码器反馈做PID校正。这个架构麻雀虽小，五脏俱全，高层预测、中层规划、底层反馈覆盖了完整链路。

我在做类似项目时踩过几个坑：一是通信时序，串口发送模型输出和控制板返回传感器数据，两边的波特率和发送频率不一致，数据会相互覆盖，最好给每条控制指令加上校验帧；二是舵机或电机响应有延时，模型训练时假设的动作生效时机和实际不一致，需要把延时测量出来并补偿；三是直接拿桌面小车的动力学参数套到不同地面材料上，很快会发现预测失准，这其实就是真实世界模型的Sim2Real问题。

5. 训练与部署中的高频坑位

5.1 预测漂移与分布外问题

世界-动作模型最常见的病状是预测漂移：短期预测还行，一旦把预测结果回环到自身状态，连续迭代十几步之后，状态就会漂移到无法理解的区域。这几乎和模型容量无关，而是数据分布问题——训练时每一步的输入都来自真实数据，推理时输入却包含模型自己的预测误差，误差不断累积。

解决思路不外乎两路。一路是在训练时加入“纠正式”数据，把模型自己predict出来的轨迹重新喂进去训练，让它适应自己的预测风格；另一路是扩大回环预测的损失权重，训练时强制做多步rollout并从rollout终点计算损失。我的实践感受是，多步rollout训练特别关键，哪怕只多预测三五步，对长期稳定性的帮助都非常明显。此外，给预测器输入增加一个正则噪声，也能提升它对微小扰动的鲁棒性。

5.2 延迟补偿与抖动抑制

延迟和抖动是控制系统的一对老冤家。世界-动作模型部署到真机时，系统延迟来自信息采集、神经网络推理、通信、底层执行器响应四个环节。而抖动则来源于推理时延本身不稳定：GPU负载高了这一帧推理20ms，下一帧变成40ms，底层控制环拿到的指令间隔忽长忽短。

解决延迟问题的常见办法是把模型推理策略从“收到观测才算动作”改成“用预测器提前几步rollout出候选动作，到执行时刻再取对应动作”。这样即使网络有几十毫秒延迟，底层依然有准时的参考指令。解决抖动问题，则建议在模型输出端加一级低通滤波或速率限制器。我试过一阶滤波器中的截止频率调在2Hz左右，末端抖动立刻压下来不少，代价是动作略微迟钝，但对绝大多数操作任务来说完全可接受。

5.3 模型、安全与硬件保护机制

任何一个学习模型都有不确定性，世界-动作模型也不例外。在真机部署之前，必须想明白一个问题：如果模型预测错了，后果是什么？最简单可靠的做法是给模型输出加硬约束。比如机械臂关节角度严禁超出硬件限位，末端运动速度过大时自动降级为安全模式。底层的PID控制环已经承担了大部分安全兜底，上层模型可以不用太束手束脚，但必须保证不影响底层保护的优先级。

我见过一个团队在部署时把碰撞检测和模型输出串成一个安全中断——一旦碰撞传感器触发，立即取消当前目标力矩并切换到阻尼模式。这种安全机制平时用不上，但关键时刻能救命。任何只依赖模型“自己判断对错”的方案，都是拿设备做赌注，不建议赌。

6. 评估基准、开源工作与未来走向

6.1 怎么评估一个世界-动作模型

评估不能只盯着最终任务成功率。成功率是末端指标，却无法告诉你是预测坏了还是动作烂了。我更习惯拆开看几个维度：

一些公开仿真环境支持标准测试，比如基于MuJoCo的连续控制任务、桌面机械臂操作平台等。做真机测试时要固定随机种子和初始位姿，否则几轮实验之间方差大得离谱。

6.2 值得关注的开源方向与参考资料

世界模型方向有不少经典开源项目可做参照：World Models相关的早期实现配置简单，适合入门；Dreamer系列代码结构清晰，动态预测模块值得精读；TD-MPC及其后续版本则把模型预测控制和学习模型结合得很好，非常适合做控制背景的读者切入。VLA方向也有越来越多附带世界模型头部的开源项目，虽然训练资源门槛较高，但预训练权重往往可以直接下载。

读这些代码时，我建议不要一开始就钻模型结构，而是先跑通它们的训练脚本，然后在测试环境里做一次推理，感知模型输出的形式。比如看看动作空间是归一化的还是原始物理量，预测头是输出确定性值还是分布参数，这些细节直接决定你后续对接硬件的改造量。

6.3 我给新手的路线建议

如果完全没有接触过机器人学习，我建议按这条路线推进：先花一周时间刷一遍机器人运动学和控制基础，搞清楚位置、速度、力矩三种控制模式的差异；然后跑通一个PID或FOC控制的真实小项目，比如用STM32控制舵机或电机，建立底层反馈的直觉；再回到世界模型的仿真环境，用公开数据集训练一个小型动态预测器；最后才考虑把两套系统拼在一起。

之所以强调先做底层再做上层，是因为世界-动作模型的输出最终要变成电机的电流或者舵机的占空比，对执行层的体感越深，越能理解模型设计里哪些部分重要、哪些部分只是花架子。我自己刚入门时跳过底层直接训练神经网络，结果花了很长时间才补上“控制频率、响应延迟、关节限位”这些工程常识，那段时间交的学费，完全是可以避免的。

一些更零碎但很重要的心得

最后再分享三个让我印象深刻的教训。第一，在开始写模型代码之前，先把数据采集和标注方案定下来，数据接口统一用同样的频率和单位系统，项目后期会省掉大量对数据对不齐的排查时间。第二，日志系统要完整记录每一帧模型输入的图像、输出的动作、底层的实际反馈。很多诡异问题根本无法通过当前状态复现，一旦缺了历史帧就永远找不到原因。第三，训练环境复现别嫌麻烦，把随机种子、依赖库版本、硬件配置全部写进文档，半年后你再用这个环境时会感谢自己。

世界-动作模型现在仍然在快速演进，但围绕“预测与动作联合建模”这条主线，基本已经是大方向共识。如果准备入局，我的建议是别一上来就追超大参数模型，先用小模型把仿真到真机的链路完整打通。等真正跑通一个闭环之后，再考虑加规模、加数据。模型再大，也不如一个在真实电机上稳定转起来的闭环值钱。