1. 机器人基础模型的架构演进与核心挑战
机器人基础模型（Foundation Models for Robotics）的兴起，标志着机器人学从“专用工具”向“通用智能体”的范式转变。过去，我们为每个特定任务——比如拧螺丝、分拣包裹或室内导航——都需要从头设计一套感知、规划与控制算法。这种“一事一议”的模式不仅开发成本高昂，其泛化能力也极其有限，换个场景或任务就可能完全失效。基础模型带来的革命性思路是：能否像训练ChatGPT理解人类语言一样，训练一个模型来理解物理世界的“语言”——即视觉、语言、动作之间的复杂关联，从而获得一种通用的、可迁移的物理世界常识与技能？
这个愿景的核心载体，便是视觉-语言-动作模型。它本质上是一个端到端的神经网络，其输入是机器人的多模态感知（如摄像头图像、自然语言指令），输出则是直接驱动关节或轮子的底层控制指令。这种架构试图将“看到什么”、“听到什么指令”与“做出什么动作”在同一个模型内部进行统一建模，从而绕过传统模块化系统中繁琐的手工特征工程和状态机设计。然而，这条通往通用机器人的道路并非坦途。从我过去十多年在工业自动化和研究一线的经验来看，当前VLA模型在实际部署中至少面临三大核心挑战，这些挑战直接决定了其从实验室演示走向真实世界的成败。
1.1 挑战一：长时程规划中的“记忆墙”与推理衰减
想象一下，你让一个机器人“去厨房倒杯水，然后拿到客厅的茶几上”。对人类而言，这是一个简单的多步骤任务。但对当前的VLA模型来说，这却是一个巨大的考验。问题根源在于其有限的“工作记忆”容量。大多数基于Transformer的VLA模型，其上下文窗口（Context Window）是固定的，通常在几千个token以内。这意味着模型在规划“拿杯子”这一步时，可能已经忘记了最初的“去厨房”指令，更无法在“倒水”失败后回溯并调整之前的步骤。
这种“记忆墙”导致长时程规划的性能呈指数级衰减。模型在规划超过5-7步的复杂任务时，成功率会急剧下降。其本质是自回归生成动作序列时，错误会随着步数累积并放大。更棘手的是，在训练过程中，模型很难建立起长期目标（如“让房间整洁”）与具体决策序列（如“先捡起袜子，再放入洗衣篮，然后擦拭桌面”）之间的可靠关联。这就像让一个学生只背诵了每个单词的拼写，却从未学过如何组织它们写成一篇连贯的文章。
在实际项目中，我们曾尝试用VLA模型完成一个简单的“组装玩具”任务，涉及拾取、对准、插入、紧固四个步骤。模型在前两步表现尚可，但到第三步“插入”时，由于对前两步执行结果的内部状态估计已不准确，经常发生 misalignment（错位），导致任务失败。这并非模型“笨”，而是其架构缺乏对长序列任务的显式状态管理和因果推理能力。
1.2 挑战二：多模态感知的“感官缺失”与物理隔阂
目前的VLA模型主要建立在视觉和语言这两大模态之上。视觉提供了丰富的几何与语义信息，语言则传达了高层意图。然而，真正的“具身智能”要求机器人像人类一样，拥有对物理世界的“体感”。当你闭着眼睛拿起一个鸡蛋时，指尖的触觉压力、滑动感和物体的柔韧性会立刻告诉你该用多大的力，以及它是否快要滑脱。当前的机器人严重缺乏这种能力。
这种“感官缺失”在接触丰富的操作任务中尤为致命。例如，操作柔软的电线、捏起一片薯片而不捏碎、或者将插头插入插座。仅凭视觉，模型很难精确估计接触力、表面摩擦系数或物体的形变特性。这导致了所谓的“视觉-动作鸿沟”：模型能“看到”目标，却不知道该如何“感受”并“操控”它。许多实验室里成功的抓取演示，一旦面对反光、透明或柔软物体，性能就会大幅下滑。
此外，除了触觉，另外两种关键模态也常被忽视：
- 本体感觉：机器人对自身关节位置、速度和扭矩的感知。这对于保持平衡、实现精细力控至关重要。
- 听觉：声音是事件的重要标志。螺丝拧紧的“咔哒”声、物体碰撞的闷响、电机异常的啸叫，都蕴含着丰富的状态信息，且处理成本远低于高帧率视觉流。
忽略这些模态，相当于让机器人戴着手套、塞住耳朵、还蒙住一半身体感觉去完成精细工作，其鲁棒性自然难以保证。
1.3 挑战三：模型行为的“黑箱”与安全验证困境
传统模块化机器人系统的优势在于可解释性。如果导航失败，我们可以检查定位模块的输出；如果抓取失败，可以分析视觉检测的边界框。整个故障链条是清晰可追溯的。然而，VLA模型作为一个端到端的“黑箱”，它将感知、规划、控制全部融合在一个巨大的前向传播中。当机器人执行了一个错误甚至危险的动作时，我们很难 pinpoint 到底是哪个环节的“想法”出了问题：是错误理解了指令？是误判了物体位置？还是生成了不合理的关节轨迹？
这种可解释性的缺失，给安全关键领域的部署带来了巨大障碍。在工厂、医院或家庭环境中，我们无法接受一个无法解释其决策逻辑的机器人。更严峻的是，目前缺乏一个统一的评估框架来衡量VLA模型在复杂、开放环境中的综合性能。现有的评估指标（如任务成功率）往往过于粗糙，无法区分失败是由于“双手协调能力差”、“惯用手使用不对称”还是“空间推理错误”导致的。没有精细的评估，就谈不上有效的改进。
2. 架构演进：从统一模型到专业化组件设计
面对上述挑战，机器人基础模型的架构正在发生深刻演变。早期的尝试，如RT-1、RT-2，致力于构建一个庞大的、统一的Transformer模型，期望它能“一通百通”。但实践证明，这条路在效率、可扩展性和安全性上存在瓶颈。当前的趋势是走向更灵活、更模块化的“系统级”设计，让基础模型作为强大的大脑，与一系列专业化的“小脑”和“感官”协同工作。
2.1 异构动作空间与平台无关的抽象
一个理想的通用机器人模型，应该能控制从机械臂到双足人形的各种机器人形态。但不同机器人的动作空间（关节角度、末端位姿、轮速等）天差地别。早期的方案试图将所有动作都归一化到同一个离散的token空间，但这导致了精度损失，尤其对于需要毫米级精度的灵巧操作。
更先进的思路是引入“平台无关的动作抽象层”。具体来说，VLA模型不再直接输出特定机器人的底层电机命令，而是预测一个抽象的、中间层的动作表示。例如：
- 预测目标末端执行器的6D位姿（位置和姿态）和期望的力/力矩。这是一个与具体机器人构型无关的、在任务空间中的描述。
- 预测一组关键点轨迹或空间约束。例如，“将工具尖端移动到A点，然后沿B轨迹运动到C点”。
然后，由一个轻量级的、针对特定机器人硬件设计的“低层控制器”或“运动基元库”来接收这个抽象指令，并将其实时转化为本体的关节扭矩或速度命令。这类似于军事中的“指挥官-执行官”体系：VLA作为指挥官，下达“占领那个山头”的抽象任务；而底层控制器作为执行官，根据自己部队（机器人本体）的特性和当前地形，制定具体的行军路线和战术动作。
这种解耦带来了巨大的优势。首先，它实现了“一次训练，多处部署”。同一个VLA模型可以驱动UR机械臂、Franka Panda或波士顿动力的Spot，只需更换对应的底层控制器。其次，它提升了安全性。底层控制器可以内置物理约束（如关节限位、速度极限、碰撞检测），确保高层抽象的、可能不完美的指令不会被执行为危险动作。
2.2 连续动作建模：扩散模型与流匹配的崛起
传统Transformer采用离散token来表征连续动作，就像用有限的词汇去描述无限细腻的情感，必然存在量化误差。对于需要高精度轨迹跟踪的任务（如插入、书写），这种误差是致命的。
近年来，扩散模型和基于流匹配的模型在连续动作建模上展现出巨大潜力。它们的核心思想不是预测一个确定的“平均”动作，而是学习整个动作分布。以扩散模型为例，它在训练时学习一个从随机噪声逐步去噪、恢复出合理动作序列的过程。在推理时，给定当前状态和指令，模型可以从噪声开始，通过多步迭代“去噪”生成一个平滑、合理的动作轨迹。
这种方法有几个关键好处：
- 多模态输出：对于同一情境，可能存在多个合理的动作（如绕过障碍物可以从左或从右）。扩散模型能捕捉这种多模态分布，生成多样且合理的解，而不是一个折中的、可能无效的“平均解”。
- 时序一致性：扩散过程自然地鼓励生成时间上连贯、平滑的轨迹，这非常符合机器人运动的物理特性。
- 改善长时程规划：通过将规划问题转化为在连续潜在空间中的轨迹生成问题，并结合基于模型的预测，扩散策略能更好地进行长视野的推理。
在实际调参中，扩散模型的步数（采样步数）是一个关键权衡。步数越多，生成质量通常越高，但延迟也越大。在实时控制要求高的场景（如动态抓取），我们通常采用约10-20步的快速采样器，并结合蒸馏技术，在保证性能的同时将延迟控制在几十毫秒内。
2.3 高效架构探索：Mamba与状态空间模型
Transformer的自注意力机制虽然强大，但其计算复杂度与序列长度的平方成正比，这限制了它在需要处理长历史观测序列的机器人任务中的应用。最近，Mamba等基于状态空间模型的架构引起了广泛关注。
SSM的核心优势在于其线性序列复杂度。它通过一个隐状态来递归地总结历史信息，类似于RNN，但通过结构化的参数化和硬件感知设计，实现了比传统RNN更优的长序列建模能力和并行训练效率。对于机器人任务，这意味着模型可以处理更长的感知历史（例如过去30秒的所有图像帧和本体感觉），而计算开销仅线性增长，这对于在嵌入式设备上实现实时、长上下文的理解至关重要。
不过，SSM在捕捉非常长程的、复杂的依赖关系时，其能力是否完全匹敌注意力机制，仍需更多实证研究。一个可行的混合架构是使用Transformer处理关键的、需要全局推理的“摘要”信息（如当前任务目标、场景语义图），而用SSM来处理高频率、长时间的感官流数据。这种“分工协作”或许是未来高效VLA架构的方向。
3. 迈向真正的多模态具身智能
要让机器人真正“理解”并“驾驭”物理世界，仅靠视觉和语言是远远不够的。我们必须为其装备更丰富的感官，并让模型学会融合这些异构信号。这不仅是增加几个输入通道那么简单，而是涉及表征学习、对齐和决策的根本性变革。
3.1 触觉信息的融合：从“看得见”到“摸得着”
触觉传感器（如基于视觉的GelSight、基于电容的Tactile手套）能提供毫米甚至微米级的接触几何、压力和滑动信息。如何将这些高维、局部、动态的触觉信号与全局的视觉、语言信息融合，是当前的研究前沿。
一种有效的架构设计是“分层融合”：
- 低级融合：在编码器层面，为触觉图像设计一个专用的编码器（如小型CNN），将其输出作为一个独立的token序列，与视觉token、语言token一同输入到多模态Transformer中进行跨模态注意力计算。这允许模型在特征层面就建立“视觉外观”与“触觉纹理”的关联。
- 高级推理：在决策层面，触觉信息可以作为“验证器”或“修正器”。例如，视觉模型预测了一个抓取点，但在执行抓取时触觉传感器检测到滑动，模型可以据此实时调整抓取力或姿态。这需要模型具备基于多模态反馈的闭环推理能力。
我们在一个“插拔USB接口”的任务中验证了这种思路。纯视觉模型由于USB接口和插槽的视觉特征相似且存在遮挡，对准成功率只有65%。加入触觉反馈后（通过指尖传感器感知插入时的微小阻力和对准情况），模型学会了在即将插入时进行微调，成功率提升至92%。关键在于，我们设计了一个简单的触觉-动作映射模块，当检测到特定模式的剪切力时，触发一个小的姿态修正动作。这个模块是相对独立且可解释的，避免了将所有复杂性都扔进一个黑箱模型。
3.2 本体感觉与力控：赋予机器人“肌肉记忆”
本体感觉（关节编码器、IMU、力/力矩传感器）提供了机器人身体的内部状态。这对于任何需要力交互或保持动态平衡的任务都至关重要。例如，拧开一个紧的瓶盖，不仅需要手部动作规划，更需要根据腕部力矩传感器反馈来调整全身的姿势和发力策略。
将本体感觉融入VLA模型，通常采用“ proprioceptive embedding”。将关节角度、速度、扭矩等数值序列通过一个MLP编码成向量，作为额外的状态token输入模型。更高级的做法是引入“阻抗控制”或“导纳控制”的先验知识。例如，模型可以输出一个期望的末端刚度矩阵，而底层控制器则根据这个刚度目标和当前的力觉反馈，实时计算电机扭矩。这样，模型学习的是“在什么情境下应该变得柔顺（如装配），什么情境下应该保持刚硬（如搬运）”，而不是直接学习复杂的扭矩指令。
3.3 听觉反馈：被忽视的“环境耳语”
声音是一个极具信息量且低成本的模态。它对于事件检测（“东西掉落了”、“碰撞发生了”）、状态识别（“电机是否异常嗡鸣”、“切割是否完成”）以及人机交互（“用户是否在呼唤”）都很有价值。
集成听觉的挑战在于其与视觉/动作的异步性和稀疏性。一个实用的工程方案是“事件触发式”融合。模型的主体仍以视觉和本体感觉为主要输入进行高频控制。同时，一个并行的音频处理流水线持续运行，但只在检测到特定的声学事件（通过训练好的声音分类模型）时，才向主模型注入一个“听觉事件token”。例如，当检测到“玻璃碎裂”的声音时，该token会强烈提示主模型立即停止当前动作并进入安全状态。这种设计既利用了听觉信息，又避免了给主模型增加持续的、可能无关的噪声输入。
4. 实现鲁棒长时程自主的工程实践
长时程任务失败，往往不是因为单步技能不足，而是因为“忘了要干嘛”或“在错误的方向上一条道走到黑”。解决这个问题，需要从记忆机制和规划范式上进行系统设计。
4.1 构建外部记忆与状态管理框架
完全依赖Transformer的内部上下文窗口来记忆长历史是不现实的。必须引入外部记忆机制。一个经过验证的有效模式是“工作记忆+长期记忆”架构：
- 工作记忆：一个固定大小的循环缓冲区，存储最近N步的原始观测、动作和奖励。这用于短期策略学习和即时反应。
- 长期记忆：一个可查询的向量数据库或图结构，存储任务的“要点”或“经验摘要”。这些摘要不是完整的序列回放，而是由模型自身或一个单独的网络提取的关键信息。例如，在执行“整理房间”任务时，长期记忆可能存储：“已打扫区域：A，B；未打扫区域：C；遇到的障碍：D处有椅子阻挡”。
当模型需要规划下一步或陷入循环时，它可以主动查询长期记忆：“我之前在C区域尝试过什么？失败了？为什么？” 基于查询结果，它能调整策略，避免重复错误。这模仿了人类的“反思”能力。实现上，可以使用基于注意力的检索机制，将当前状态作为查询向量，从长期记忆中召回最相关的几条经验。
4.2 分层语义表示与场景图推理
在杂乱环境中进行长时程规划，如果每一步都处理原始的像素级图像，计算负担巨大且容易迷失在细节中。分层抽象是解决这一问题的关键。
具体而言，模型可以构建并维护一个动态的3D场景图。这个图以物体实例为节点，以空间关系（“在...上面”、“在...左边”）和语义关系（“是...的一部分”、“用于...”）为边。例如，一个厨房场景图可能包含节点 {冰箱， 桌子， 杯子， 水壶}， 以及边 {杯子 在 桌子 上， 水壶 在 冰箱 旁}。
VLA模型的高层推理可以在这个抽象的图结构上进行，而不是像素上。规划任务“拿杯子”被转化为在图上的搜索问题：找到“杯子”节点，检查其可达性（是否有遮挡？），然后生成一系列图操作（“移动到桌子附近”、“伸手抓取杯子”）。底层控制器再将这些图操作解析为具体的运动轨迹。这种方法大幅降低了规划的计算复杂度，并增强了可解释性。我们可以直观地看到机器人“认为”杯子在桌子上，并据此制定计划。
4.3 基于世界模型的仿真与想象
在物理机器人上收集海量的、涵盖所有可能故障的长时程交互数据成本极高。世界模型提供了一个强大的替代方案：在仿真中生成近乎无限的数据，或让智能体在“想象”中预演行动后果。
世界模型是一个学习得到的、对环境动态进行预测的模型。给定当前状态和假设的动作，它能预测出下一时刻的状态（图像、触觉等）。更先进的动作条件化世界模型，可以生成符合物理规律的未来场景视频。机器人可以在执行真实动作前，在“脑海”（世界模型）中快速模拟多个行动方案，并选择预期结果最好的一个。这为长时程规划提供了强大的“前瞻”能力。
然而，仿真的核心难题是“ sim2real gap”。一个在完美仿真中训练的策略，在真实世界可能一败涂地。解决之道在于提高世界模型的物理真实性。最新的研究趋势是“物理信息生成模型”，即在视频生成过程中显式地融入重力、摩擦、碰撞、流体动力学等物理约束。此外，构建一个包含大量真实世界物理交互数据（如DROID、BridgeData V2）的仿真器，并在此基础上进行域随机化（随机化纹理、光照、物理参数），也能有效提升模型的迁移能力。
5. 安全与验证：从后处理到内生融合
将强大的VLA模型部署到充满不确定性的真实世界，安全是底线。传统机器人安全依赖于外部的、基于规则的监控系统（如区域光栅、急停按钮）。对于VLA，我们需要一种更深层次的、与模型推理过程融合的安全范式。
5.1 自适应安全约束与实时干预
安全不应只是一个事后的“刹车”系统，而应内化为模型决策的一部分。这可以通过“约束学习”来实现。在训练阶段，除了最大化任务奖励，同时最小化违反安全约束的惩罚。这些约束可以形式化为控制屏障函数，它定义了状态空间中安全的“前向不变集”。模型学习在满足这些约束的前提下追求目标。
在推理时，可以部署一个轻量级的“安全滤波器”。它实时接收VLA模型输出的原始动作，并对其进行最小程度的修正，以确保修正后的动作始终保持在安全集内。例如，即使VLA命令机械臂高速冲向一个障碍物，安全滤波器会将其速度限制在安全范围内，或施加一个远离障碍物的微小偏移。这种方法是模块化的，安全逻辑清晰独立，便于验证。
5.2 形式化验证与神经符号集成
对于医疗、航空航天等超高安全要求的领域，我们可能需要数学上可证明的安全保证。这催生了“神经符号集成”的方向。其核心思想是将神经网络的输出映射到形式化的逻辑语句（如线性时序逻辑LTL），然后利用形式化方法工具来验证这些语句是否满足预设的安全规约。
例如，我们可以训练一个“解释器”模块，将VLA模型对图像的理解输出为符号命题：“物体A在区域B内”，“机械臂末端与障碍物的距离大于D”。然后，一个并行的符号推理器根据这些命题和预定义的安全规则（如“永远保持距离D以上”），实时判断当前状态是否安全，并可能否决危险动作。虽然这增加了系统复杂性，但它为“黑箱”模型提供了可验证的安全外壳。
5.3 实操心得与避坑指南
基于我们团队在多个真实场景（仓储分拣、实验室自动化）的部署经验，以下是一些关键的实操建议：
- 数据质量高于数据数量：盲目收集海量机器人操作数据不如精心设计一个覆盖关键技能和失败模式的小规模、高质量数据集。确保数据包含丰富的异常情况（如滑脱、碰撞、遮挡）和对应的纠正动作。
- 仿真与真机迭代闭环：建立“仿真训练 -> 真机小批量测试 -> 失败案例分析 -> 修正仿真模型/数据 -> 再训练”的快速迭代流程。真机测试的重点是发现仿真中未建模的物理特性（如线缆的柔韧性、特定表面的静摩擦）。
- 设计可解释的中间接口：尽量避免完全端到端的“图像->扭矩”模型。引入一些可解释的中间表示，如6D位姿、抓取点、场景图。这不仅能提升调试效率，也便于嵌入安全模块。
- 重视触觉的标定与同步：触觉传感器容易受温度、湿度影响，且与视觉帧率不同步。部署前必须进行严格的标定，并实现多传感器间的时间同步，否则融合信息反而会引入噪声。
- 长时程任务从“子目标分解”开始：不要一开始就让模型学习完整的多步任务。先训练其完成可靠的子技能（如“移动到某位置”、“抓取某物体”），然后利用高层规划器（可以是基于搜索的，也可以是一个小型的LLM）来调用这些技能序列。这降低了学习难度，也更容易诊断故障。
- 为不确定性建模：模型的输出应包含对自身预测不确定性的估计（如通过概率分布或ensemble方法）。当不确定性过高时，系统应主动降级为保守策略或请求人工干预，而不是盲目执行。
机器人基础模型的发展，正从追求规模的“大而全”，转向追求实用性、安全性和可解释性的“精而深”。架构上，混合专家、分层设计、记忆增强成为主流；感知上，触觉、力觉、听觉等多模态融合成为必然；规划上，结合世界模型的外部推理与内部闭环控制相辅相成；安全上，形式化验证与自适应约束将深度嵌入学习过程。这条路依然漫长，但每一次将实验室代码成功转化为稳定运行的机器人应用，都让我们离那个能真正理解并适应物理世界的通用智能体更近一步。最终，成功的系统很可能不是一个单一的巨型模型，而是一个精心编排的、由多个专业化“认知模块”组成的交响乐团，而VLA模型，将是其中那位理解全局意图、并协调各方的指挥家。
