【综述】《视觉—语言—动作模型综述》阅读笔记

VLA 模型到底难在哪：拆解《视觉—语言—动作模型综述》

我最初看到“视觉—语言—动作模型”时，脑子里出现的结构很直接：前面接一个视觉语言模型，后面加一个动作头，模型看懂画面和指令之后输出控制量。读完张慧等发表于《自动化学报》的这篇综述，我更愿意把 VLA 理解为一种系统问题定义：它要求视觉语义、任务意图、空间约束和动作执行进入同一条闭环链路，而具体用单一大模型、工具调用还是分层系统实现，可以不同。

这也解释了为什么论文一边强调“感知—决策—执行一体化”，一边又把模块化、端到端和混合三类系统都纳入讨论。真正的难点不在于模型里有没有 Transformer，而在于语义能否稳定落到三维空间，规划能否在动态环境中保持可执行，动作能否满足实时性与安全约束。

一、论文基本档案

这篇综述的参考文献编号到 168，覆盖经典模块化机器人、强化学习、模仿学习和多模态基础模型，并延伸到截至 2025 年仍被讨论的 RT-2、Octo、OpenVLA、3D-VLA、Diffusion Policy、π0、GR00T N1、SmolVLA 等工作。原文没有提供作者统一维护的代码仓库或实验复现脚本，本文也不把相似项目的代码入口当成这篇综述的配套资源。

二、总体判断：它最适合当地图，不适合当排行榜

我会保留这篇论文的三个框架。

第一，它把 VLA 前史讲清楚了。早期系统依赖模块化接口、强化学习或模仿学习，能够完成特定任务，但感知模块通常不知道任务目标，决策模块也缺少对环境语义的连续理解。大模型带来的不是“自动拥有机器人能力”，而是开放词汇、常识和任务分解能力；这些能力还需要被物理可行性、空间定位和底层控制重新约束。

第二，它用模块化、端到端、混合三条路线组织代表工作。这个分类比单纯按模型名称罗列更容易看出系统把大模型放在什么位置，也方便追问接口、延迟、数据和故障定位问题。

第三，它没有把 VLA 只写成模型结构问题，而是继续讨论了真实/仿真数据、预训练与后训练、评测方法、基准测试和应用场景。对刚开始进入具身智能的人，这个覆盖范围足以形成第一版术语表。

我目前最想保留的怀疑也有三点：

1. “模块化、端到端、混合”并不是互斥标签。同一个系统可以同时使用 Transformer、扩散动作头、预训练 VLM 和显式规划器；如果分类轴不说明优先级，表格容易出现交叉归属。
2. 论文比较的是体系结构、任务类型和设计取舍，没有在同一机器人、同一任务、同一算力预算下给出统一排名。它能解释“为什么这样设计”，不能直接回答“哪个模型最好”。
3. 它是一篇覆盖面很广的技术综述，但原文没有给出系统检索式、纳入排除标准和最后检索日期。因此，“系统回顾”更适合理解为组织结构完整，不宜等同于 PRISMA 式的系统综述。

三、问题从哪里来：机器人并不缺一个“会说话的头”

假设用户说：“把桌上的杯子拿到水槽边，倒掉剩水后再放回架子。”一个完整的 VLA 系统至少要处理四类信息：

• 杯子在哪里，杯口朝向如何，杯里是否真的有水；
• “水槽边”在三维空间中的具体位置是什么；
• 从当前位置到目标位置有没有遮挡，机械臂以什么姿态抓取更稳；
• 执行过程中杯子被碰倒、目标被遮挡或抓取失败后，系统如何重新规划。

传统模块化机器人可以把检测、抓取位姿、路径规划和底层控制拆开做，工程上可控，也容易定位故障。问题是模块之间的目标框、状态图、技能名称或语言标签会丢失连续的空间和任务语义，上游一个小误差还会沿接口继续传播。

预训练视觉语言模型补上了开放词汇和常识推理，但它仍可能只知道“杯子一般在桌上”，不知道眼前这个杯子的倾斜角、材质和可达性。大语言模型可以写出漂亮的步骤，却未必知道某一步在当前机械臂构型下能不能执行。

所以，这篇综述真正关心的是：如何让抽象语义在三维、动态、受物理约束的世界里保持可执行。这也是 VLA 比“VLM 加动作头”更严格的地方。

四、全文技术路线

我会把论文的内容压缩成下面这条链路：

用户指令 + 多视角图像/视频/点云/本体状态 ↓ 多模态编码与语义对齐 ↓ 任务理解、子目标分解与技能选择 ↓ 三维空间约束、可达性、轨迹或未来状态预测 ↓ 动作 token / 末端位姿 / 关节目标 ↓ 运动控制、执行与环境反馈 ↓ 成功判断、异常检测与重新规划 ↑ 闭环回到感知

这里有一个容易被忽略的设计原则：链路越往上，语义越抽象，更新频率可以越低；越往下，动作越具体，实时性和安全性要求越高。大模型适合做较慢的语义理解和任务分解，底层控制器仍要负责高频反馈。论文后面讨论的异步分层、状态空间模型、动作分块和边缘部署，基本都在解决这条链路上的频率错配。

五、三类建模范式：差别不只在“有没有拆模块”

5.1 模块化 VLA：让大模型参与规划，但保留显式接口

论文把 SayCan 作为代表性入口。它把语言模型给出的“语义上下一步该做什么”与机器人技能库给出的“物理上现在能做什么”结合起来，选择可执行的动作。

这类方案并不“落后”。在安全边界明确、技能库稳定的场景里，显式接口反而比一个巨大黑箱更容易验证。真正的限制是它很难端到端地学习“语义变化如何改变动作策略”。

5.2 端到端 VLA：统一表示，不等于所有控制都由一个大模型完成

端到端路线的目标是把观测、指令和历史动作编码到统一序列或共享表示中，再由模型输出动作。论文按主干结构又把它分成 CNN、Transformer、扩散模型、预训练 LLM 和预训练 VLM 几类。这个“二级分类”很有用，因为它说明端到端并不是一种单一架构。

几个代表工作值得放在一起看：

• Gato把图像、文本、机器人和游戏控制等任务序列化为统一 token，用类似语言模型的方式预测下一个 token。它证明了“一个模型处理多任务”的可行性，但也把可解释性和任务干扰问题带进了系统。
• RT-2的重点是把互联网图文知识迁移到机器人动作。它说明视觉语言知识可以影响动作选择，但“零样本泛化”仍然有任务、场景和平台边界。
• OpenVLA用 SigLIP/DINOv2 视觉编码器、Llama 2 语言模型和离散动作 token，在约 97 万条机器人演示上微调。原文同时强调了它的开放模型价值与资源受限平台上的实时控制困难。
• Octo将视觉、语言和历史动作统一成 token，并使用扩散动作头输出连续动作，重点在可适配的通用机器人策略。
• Diffusion Policy把动作生成看成条件去噪过程，适合同一任务存在多条合理轨迹的情况。它的收益来自分布建模，代价则是采样速度和部署预算。

这里要分清两个“端到端”。一个是数据流端到端：从观测直接学习到动作，中间不人为指定检测框或技能标签。另一个是控制频率端到端：模型真的直接产生高频电机控制。综述里不少方法只满足前者，并不满足后者。把这两个概念混在一起，很容易把高层规划模型误认为完整的机器人控制系统。

5.3 混合 VLA：把显式推理和隐式动作生成接起来

混合路线的动机很实际：纯端到端模型难以解释和纠错，纯模块化系统又容易接口断裂。论文把它分成两类：

• Prompt 引导型：HiRT、MoRE、SmolVLA 等把任务、环境约束或视觉语言特征作为提示注入执行模块，在保留端到端动作生成的同时增加可控性。
• 显式推理层型：EnerVerse、CoT-VLA、DreamVLA 等先生成子目标、未来状态、三维约束或世界知识，再注入动作生成器。

混合系统的关键是“中间表示是否真的被执行器使用”。如果中间图像、三维图或推理文本只是生成出来给人看，没有进入策略条件，那么它提供的是解释，不是控制。反过来，如果约束的粒度与动作模块不匹配，系统也会出现“约束写了，但动作没有遵守”的情况。

六、代表方法怎么比较

表中方法的目标、机器人平台、数据集和评测方式并不相同。把它们放在一张表里适合看“在链路中负责什么”，不适合直接比较数值高低。

七、数据与训练：真正的瓶颈在“可执行性”

论文将数据分成真实环境数据、仿真数据和自然语言/视觉指令数据，又把训练分成预训练与后训练。

7.1 数据来源

表格中的“论文称覆盖多少机器人、多少轨迹”是有价值的规模信号，但不能替代数据质量检查。不同版本的数据集、过滤规则和去重方式可能改变数字；使用时应回到数据集原始说明，而不是只抄综述表格。

更重要的是，动作标签不是自然语言标签的替代品。一段人类视频可以告诉模型“这是什么动作”，却不一定告诉机器人“在当前本体和当前接触状态下该怎么执行”。预训练可以把语义先验带进来，真正落地仍要少量高质量机器人轨迹做对齐。

7.2 预训练：从“同域堆量”到“通用语义 + 行动对齐”

论文把预训练归纳为四条路线：

1. 领域内模仿训练：Octo、RDT-1B 等在机器人轨迹上做大规模行为克隆，收益直接，但很容易被采集域限制。
2. 分阶段迁移：先用互联网视觉语言数据学语义，再用机器人数据学动作；RT-2、OpenVLA、视频预训练模型都属于这一思路的不同变体。
3. 混合专家：用 MoE 把控制、视觉理解和语言能力分给不同专家，降低共享参数造成的任务干扰。
4. 主动推理训练：通过思维链、子目标或中间推理，让模型在动作之前先给出任务分解和空间关系。

我的理解是，第三条和第四条都在绕开同一个问题：预训练数据带来的“世界知识”与机器人动作数据带来的“可执行技能”并不天然对齐。MoE 试图从参数结构上减少冲突，显式推理试图从表示结构上暴露决策依据，但两者都还没有解决推理误差如何被执行器发现的问题。

7.3 后训练：不是所有微调都等于全参数重训

论文比较了监督微调、强化学习微调、分层模块微调和端到端联合微调。这个层次比简单的“预训练 + 微调”更实用：

• 监督微调适合新任务与预训练分布接近的情况，本质上是行为克隆；
• 强化学习微调可以超过示范数据上限，但真机采样成本高，探索还可能损坏设备；
• 分层模块微调可以冻结高层语义模块，只更新动作头或少量 LoRA 参数；
• 端到端联合微调可能取得特定任务最优性能，却最容易灾难性遗忘。

论文提到的 LoRA 额外参数不到 0.5%、末端策略头约占 0.1% 等数字，来自它所引用的具体工作。读这些数字时应该继续核对任务、硬件和基线，不能把参数占比直接当成泛化收益。

八、评测为什么仍然难

论文总结了四类评估方法：

论文列举的基准包括视觉语言导航的 VLN-CE、操作任务中的 RLBench、Meta-World、CALVIN、LIBERO、Franka Kitchen，以及连续控制的 DeepMind Control Suite。常用指标除了成功率，还包括路径效率加权成功率、样本效率、泛化得分、导航误差、前向/后向迁移和鲁棒性。

这些指标比“成功率高不高”更接近真实问题，但仍然缺少一个统一证据矩阵。一个 VLA 系统如果只在仿真里成功，不能据此推断真机安全；如果在多个机器人上平均成功率提高，也不能推断动作接口已经统一。更值得补充的指标至少包括：

• 相同算力、传感和动作频率下的成功率和延迟；
• 未见物体、遮挡、光照变化和动态障碍下的条件化性能；
• 失败检测、重规划和人工接管所需时间；
• 接触力、碰撞次数和越界动作等安全指标；
• 跨机器人平台迁移时的动作空间对齐误差。

九、应用场景要看证据层级

论文覆盖了家庭服务、工业协作、自动驾驶、医疗、无人系统等应用。方向梳理是有用的，但应用段落里的事实层级并不完全一样：

• SayCan、OpenVLA、3D-VLA 这类方法有相对明确的论文实验和数据集；
• 某些生产线、医院、无人机或机器人公司的案例，可能来自项目报道或系统集成实践；
• 像“耗时缩短约 15%”“定位准确率 98%”“减少辐射暴露 360 h”这类数字，综述没有展开实验协议、样本量、失败案例和统计口径。

因此，这些案例适合回答“VLA 可能进入哪些场景”，不适合直接拿来写“某方法在真实场景已被证明优于传统系统”。如果后续要做课题综述，应用陈述必须回溯到对应原始文献或项目报告。

十、这篇综述的证据边界

作为综述，它的主要证据是分类解释力、代表工作覆盖和图表组织，不是作者自己训练的模型曲线。我主要检查三件事：

1. 分类能否解释代表方法；
2. 数据和评测章节是否给出可继续追的原始出处；
3. 结论中的挑战是否能从前面文献得到支持。

前两项做得比较完整，第三项以方向性判断为主。例如“跨模态对齐不足”“实时推理困难”“长时序规划容易累积误差”都合理，但综述没有给出统一的跨文献统计。它也没有系统报告检索数据库、关键词、筛选流程、每类工作数量和研究质量评价。

另外，综述的时间边界很关键。文章 2025 年 8 月底收稿、9 月录用，已经纳入 π0、GR00T N1、SmolVLA 等较新的工作，但 2025 年下半年以后 VLA、世界动作模型和机器人基础模型仍会快速变化。用它建立概念框架可以，拿它当 2026 年的最新模型清单则不合适。

十一、还没想清楚的问题

1. 动态三维记忆应该放在哪一层？

当前 VLA 多把当前图像、短时视频和语言指令直接送入模型。面对移动目标、遮挡变化和长时间操作，系统需要维护对象身份、几何状态和历史交互关系。把 3D/4D 记忆放在视觉编码器、世界模型还是外部场景图里，会直接影响更新频率、误差传播和可解释性。

2. 何时应该停止执行？

很多评测只看最终成功率，却忽略了“系统是否有自知之明”。如果视觉置信度下降、动作执行偏离预期或接触力异常，模型应该减速、重规划、请求人类帮助，还是继续完成当前动作？这需要把不确定性估计和风险控制放进 VLA 的动作接口，而不是只在事后解释。

3. 怎样公平比较不同架构？

模块化系统的优势是解释和替换，端到端系统的优势是统一优化。若没有同一数据、同一机器人、同一延迟预算和同一安全协议，二者的胜负很容易由实验设置决定。后续比较至少应该把任务成功率、推理频率、显存、人工干预和故障恢复放在同一张表里。

4. 跨机器人到底迁移了什么？

OXE/RT-X 这类工作说明多机器人数据可以带来正迁移，但“动作空间统一”和“策略语义统一”不是一回事。一个模型即使学会了不同机器人都能执行“抓取”，也不一定理解同一个对象属性在不同末端执行器上的操作差异。

十二、如果是我，下一篇先读什么

这篇综述适合当路线图。沿着它继续读时，我会按“先理解系统位置，再看具体机制”的顺序走：

SayCan → RT-2 → OpenVLA → VoxPoser → 3D-VLA → ACT / ALOHA 或 Diffusion Policy

原因分别是：

• SayCan：理解语言模型如何受技能可行性约束；
• RT-2：看互联网视觉语言知识如何进入动作 token；
• OpenVLA：看开放模型、机器人数据和跨平台适配的具体折中；
• VoxPoser：理解语言如何变成三维空间中的可执行约束；
• 3D-VLA：把三维场景、未来状态和动作生成放在一起；
• ACT / ALOHA 或 Diffusion Policy：补上动作分块、连续动作分布和真实双臂操作细节。

如果结合动态场景目标检测与语义分割方向，我会优先补两条线：一条是 VLA 如何维护随时间变化的 3D/4D 场景记忆；另一条是检测/分割出现漏检、误检或遮挡时，动作策略如何感知风险并重新规划。前者对应三维视觉与世界模型，后者对应不确定性和闭环安全。

延伸阅读

• SayCan: Do As I Can, Not As I Say
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
• OpenVLA: An Open-Source Vision-Language-Action Model
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
• 3D-VLA: A 3D Vision-Language-Action Generative World Model
• ACT: Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware

十三、三句话记住这篇论文

1. VLA 的本质不是“视觉语言模型输出文字后再调机器人”，而是让语义、空间约束和动作执行共享一条可闭环、可验证的路径。
2. 模块化、端到端和混合系统各有适用条件；真实部署通常需要用分层、异步或显式中间表示来平衡泛化、实时性和安全。
3. 目前最缺的不是再多一个模型名称，而是统一数据协议、可解释的失败分析、动态三维记忆和同一预算下的评测证据。

关键词：具身智能、VLA、视觉语言模型、机器人操作、三维感知、任务泛化