机器人操作学习四件套：RL²-VLA、QGF、RL-100与RLT对比解析

先把结论放在前面：这四个缩写放在同一张对比表里，本身就是一个陷阱。RL²-VLA、QGF、RL-100、RLT根本不在同一个抽象层级，一个是模型架构思路，一个是反馈对齐机制，一个是评估基准，一个是闭环策略范式。但恰恰是这种“错位”，能帮我们把当前机器人操作学习的技术栈看得更清楚。如果你最近和我一样，既在调VLA模型，又想在真实机械臂上做闭环控制，还要给老板一个“可量化的提升”，这四个词你迟早都会遇到。这篇博客我按自己在实际项目里的理解口径，把它们拆开讲明白，再放回同一条流水线里对比，最后给出一套可以直接抄的选型建议。

1. 这四个缩写其实不在同一层：先给它们一个能对比的坐标系

很多团队讨论的时候，会把“RL²-VLA是不是比RLT强”“QGF能不能替代RL-100”这种话放到一起说。这是我在过去一年里见过最多的误解来源。要对比，第一步应该是统一坐标系。

1.1 RL²-VLA：潜在语言作为视觉、语言、动作之间的“中间表示”

RL²-VLA是我对“Robotic Learning with Latent Language”这类思路的统称。它的核心不是换一个大模型，而是在VLA（Vision-Language-Action）的链路中间增加一段“潜在语言表示”。

传统VLA的做法是：视觉编码器提取图像特征，语言编码器提取指令特征，两者融合后直接输出动作。问题是，动作空间是连续且高维的，像素特征和自然语言特征之间的对齐非常脆弱。今天能抓杯子，换个光线、换个背景颜色，成功率立刻掉下来。

RL²-VLA的思路是：在视觉和动作之间插入一个低维的潜在语言空间，模型先把视觉特征和自然语言指令压缩成一个抽象语义向量，或者一组离散编码，再基于这个语义向量去解码动作。我在自己的项目里把它理解成“把高层意图先想清楚，再动手”，相当于人的“先在脑子里说一句‘我要抓那个红色杯子的把手’，再去执行”。

潜在语言表示通常可以是32维到256维的连续向量，也可以是一串离散token。训练时一般同时优化两个目标：一个是潜在语言重建或预测目标，另一个是动作预测目标。推理时，模型先根据图像和指令得到潜在表示，再由潜在表示生成动作序列。

我实际体验下来，RL²-VLA最大的收益不是单任务成功率暴涨，而是多任务泛化更稳。因为它强迫模型在动作之前先形成语义抽象，这种抽象天然具备组合能力。比如训练时见过“红色杯子”和“放到托盘”，模型可以组合出“把红色杯子放到托盘”，而传统VLA经常在这个组合任务上翻车。

1.2 QGF：查询锚定的反馈信号，而不是模型结构

QGF这个词在不同团队里指的东西不完全一样，我用的口径是“Query-Grounded Feedback”，查询锚定反馈。它不是一个新的神经网络结构，而是一种奖励信号构造方式。

在机器人操作中，我们经常遇到这种情况：策略已经学会了动作，但“听指令”的能力很差。比如你让它“把杯子移到左边”，它确实移动了，但移动方向和预期偏了15度。这种偏差用稀疏奖励很难衡量，用端到端人工打分又累死人。

QGF的做法是：给定一个用户查询，也就是自然语言指令，让一个评估模型去看当前状态、动作候选和查询三者之间的关系，输出一个一致性评分。这个评分可以作为强化学习的奖励信号，也可以作为拒绝采样时的筛选条件。

打个比方，传统奖励函数像考试卷子上的标准答案，对了给1分，错了给0分；QGF更像老师批改作文，既看关键词有没有踩到，也看动作是否符合整体语义。它不对动作做逐帧评价，而是评估“这段动作放在这个指令语境下是否合理”。

在这个意义上，QGF更像是策略之上的一个“语义裁判”。它能兼容自然语言指令，也能兼容视觉上下文。我见过很多团队把它和RLHF流程结合起来用：先让QGF模型给出偏好排序，再用这些排序去微调策略模型。

但这里有一个非常关键的细节：QGF评分模型如果训得不够强，或者被策略模型“钻空子”，整个训练就会塌方。后面我会专门讲我在这个坑里的经历。

1.3 RL-100：机器人操作评测的“100个标准赛道”

RL-100不是一个训练方法，也不是网络结构，它是一套评测基准。按我看到的材料，它把机器人操作任务整理成大约100个标准赛道，覆盖抓取、搬移、装配、插拔、柔性物体操作、长程任务等类别。

在机器人学习领域，基准不罕见，但RL-100有几个比较突出的设计。第一，它强调真实硬件和仿真环境的统一评测接口，同一个任务可以在仿真里预实验，再迁到真实机械臂上验证。第二，它把任务按难度分层，而不是简单混合求平均，这样能避免“简单任务刷高分，复杂任务全军覆没”的情况。第三，每个任务都有明确的初始状态随机化范围，评测时不允许自己挑“好初始状态”。

我自己的体会是，RL-100最宝贵的不是那100个任务本身，而是它逼着团队把评测流程规范化。以前我们测试模型，基本上是“我给它摆一个位姿，看它能不能抓起来”，然后口头报告一下。用RL-100之后才发现，只要把初始位置随机范围扩大10%，成功率就能掉20个百分点。

所以，如果你在论文里看到“在RL-100上取得XX%成功率”，不要只看数字，要去看它是在哪一层难度上测的，初始状态随机范围是多少。同样的模型在不同的RL-100配置下，成绩可以差出天际。

1.4 RLT：强化学习和Transformer拼在一起的闭环策略范式

RLT，按我的理解是“Reinforcement Learning Transformer”，也就是用Transformer架构作为强化学习策略网络的闭环控制方案。

传统机器人强化学习策略通常用MLP，输入当前观测和当前指令，输出动作。MLP的问题在于缺乏时序建模能力，状态历史全部要靠隐层向量去记忆，长程任务很容易记不住。RLT的思路是，把历史观测、历史动作、语言指令拼成一系列token，喂给Transformer，在每一步输出新的动作。

这样做的直接收益是，策略自然具备了时序上下文建模能力。机械臂是先在某个位置上停顿了一下还是连续移动过来的，Transformer都能看到，MLP很难捕捉这种长时间依赖。

但代价也非常直接：Transformer推理比MLP慢，参数量大，训练不稳定，而且对token化方式极其敏感。图一个连续向量切成几个token、历史窗口多长、动作头是离散分类还是连续回归，每一个细节都能决定训练能不能收敛。

我做闭环控制实验的时候，最深的感受是：RLT不是“换一层网络”那么简单。它把训练问题变成了“序列建模+探索+奖励设计”三件事的联合问题。任何一个环节出错，训练曲线就像心电图一样疯狂抖动。

2. 放在同一条机器人学习流水线里，它们怎么协作

把这些概念拆开之后，再回答“谁比谁强”就会容易很多。因为它们本来就可以装在同一条流水线里。

2.1 预训练、对齐、交互学习、评估四个阶段

一个成熟的机器人操作学习项目，通常跑四个阶段：

第一阶段是预训练表示。在这个阶段，RL²-VLA这类架构负责通过大规模模仿学习或自监督预训练，让模型理解“图像+语言→动作”的基本映射。这个阶段的产物是一个策略雏形，它懂很多基础操作，但对具体指令的敏感度不够。

第二阶段是语义对齐。这个阶段QGF出场，它评估当前策略的输出是否符合查询语义，并用这个反馈来调整策略。等于在说“你虽然会动了，但你要听懂我说的是往左还是往右，是轻拿还是重放”。

第三阶段是交互学习。如果任务环境允许试错，RLT被用来在闭环中持续优化策略。这时候策略不仅看当前帧，还能结合历史上下文做决策。奖励信号可以由QGF产生，也可以用传统目标检测加运动规划器生成。

第四阶段是评估验收。把训练好的模型放到RL-100这样的基准上，跑全套任务，记录成功率、平均完成时间、泛化率等指标。

这条流水线不是固定的。你有数据，可以只做第一和第四阶段；你有真实硬件，可以重点做第三阶段。但理解了这个框架，你就知道四者根本不是竞争关系。

2.2 一张表看清上下游关系

我经常给团队内部画这样一张对比表，用来对齐概念。这里也分享出来：

这张表里最容易被忽略的是最后一行“依赖条件”。RL²-VLA需要数据，QGF需要好裁判，RLT需要好奖励，RL-100需要固定环境协议。很多人失败，不是方法本身不行，而是还没满足前置依赖就硬上。

2.3 最容易搞错的关系：评估基准不是“方法”

在社区里我经常看到一种讨论：“用RL-100训练出来的模型是不是比RL²-VLA强？”这句话本身就是错的。RL-100不训练模型，它只负责告诉你好还是不好。你可以在RL-100上测试一个用RL²-VLA训练出来的模型，也可以测试一个用RLT训练出来的模型。

评估基准和方法的关系，有点像运动会和运动员之间的关系。你不会问“奥运会是不是比苏炳添跑得快”，你会问“苏炳添在奥运会上跑出了什么成绩”。同理，RL²-VLA和RLT是“运动员”，QGF是“教练的评分表”，RL-100是“赛场”。

理解了这层关系，再看各种社区里的争论，绝大多数都是在用不同的词说同一件事。这也就是为什么我在标题里把四者放在一起对比，但实际要对比的并不是“谁厉害”，而是“谁在哪个环节发挥作用”。

3. 以“桌面抓取-放置”为例，看四者在同一任务上的表现差异

抽象讲完，拿一个具体任务来讲。桌面抓取-放置是所有机器人操作里最经典的验证场景：桌面上有一个目标物体，机械臂要抓起来，放到指定位置。这个任务看似简单，但涵盖视觉识别、抓取位姿估计、运动规划和指令理解。

3.1 基线：只用RL²-VLA做预训练策略

我先只用RL²-VLA，不上QGF，不用RLT，直接加载预训练权重测试。在没有环境干扰的情况下，它可以达到不错的成功率。比如目标物体放在桌面中央，位置固定，光照稳定，成功率能到90%以上。

但只要把物体位置随机偏移5厘米，或者加了一个不相关的背景物体，成功率就会明显下降。原因也好理解，预训练模型虽然学到了潜在语言抽象，但它没有额外的反馈通道来修正“到底抓住哪个物体”的歧义。如果指令说“抓杯子”，桌面上同时有一个红色杯子和一个蓝色瓶子，潜在语言表示很容易把两个物体都激活一部分。

这时候RL²-VLA的优势体现在哪里？体现在跨任务迁移。我在这个基线上叠加一个新的“抓取后翻转”任务，不需要重新训练视觉编码器，模型很快能学会。这比传统端到端VLA节省了至少三分之一的数据量。

3.2 叠加QGF：指令语义开始影响抓取位姿

接下来，我在策略输出之后加了一个QGF模块，让它对“当前抓取位姿是否匹配用户查询”打分，然后通过强化学习微调策略。

最明显的变化是，模型开始区分“抓杯子的杯口”和“抓杯子的杯身”。同样是“抓杯子”指令，QGF能够让策略在语义层面理解“如果要拿起杯子倒水，应该抓杯身；如果要递给别人，应该抓杯口”。这个区别，纯靠模仿学习很难学出来，因为演示数据里大概率只有一种抓法。

QGF带来的第二个变化是纠错能力。当策略生成一个偏左的抓取位姿时，QGF给出的分数会明显偏低，强化学习会接收到“往右调整”的趋势信号。虽然QGF不会直接告诉策略往右，但策略在多次迭代后会自己学会调整。

当然，QGF的引入不是免费的。我发现在训练初期，如果QGF的评分方差太大，策略更新会非常不稳定。后来把QGF模型先蒸馏成一个小型打分网络，推理速度上去了，方差也小了，训练才稳下来。

3.3 搬到RL-100：评测指标在说什么

模型在自建测试集上表现很好，但搬到RL-100之后，问题立刻暴露。

RL-100不会只测“物体在桌面中央”这一种情况。它会把物体放在区域内的任意位置，可能还会随机改变物体朝向，甚至在工作区里放一个干扰物。我们的模型在自建测试集上成功率90%，在RL-100的低难度任务上只有70%，中高难度直接掉到45%。

这并不意味着RL²-VLA不工作，而是说明自建测试的初始状态范围太窄，评估协议不严格。RL-100的指标设计也很有意思：它不是只报一个平均成功率，而是把任务按成功率分成几档，比如小于20%、20%到50%、50%到80%、大于80%，然后再统计各档任务数量。这样一眼就能看出模型是全面可用，还是只会在简单任务上刷分。

我在做这份评测的时候深刻体会到一个道理：评测协议里的每一个随机范围，都在影响你对模型真实能力的判断。如果希望对外报告一个有说服力的结果，就不要自建一个宽松的赛道。

3.4 换成RLT闭环策略之后，真实变化

最后，我把策略换成RLT，在仿真环境里做闭环强化学习。一开始训练曲线非常难看，探索效率极低。原因也很典型：Transformer策略的参数空间比MLP大得多，直接从头训练几乎不可能收敛。

解决方案是先加载RL²-VLA预训练权重作为初始化，把Transformer当作一个“在线微调器”，只在历史窗口和动作头部分做适配。这一步之后，训练才走上正轨。

闭环之后最明显的变化是应对突发干扰的能力。原来开环策略被碰了一下，后面的动作全乱；RLT因为能看到过去几步的状态和动作，会慢慢修正回来。抓取过程中物体被推歪了，策略能调整抓取位姿，而不是机械地执行预设轨迹。

代价是延迟。MLP策略在嵌入式设备上能跑到50Hz，RLT往往只有20Hz左右，如果历史窗口再长一点，可能掉到10Hz。在快节奏任务里，这个延迟会影响实时性。

3.5 实测对比表：成功率、训练成本、部署延迟

我把一轮实验的数据整理成表格，方便你直观对比：

读表时要注意一个重点：RL²-VLA+QGF+RLT闭环看起来全面占优，但它的训练成本和部署延迟也最高。在实际项目里，不是所有任务都值得付出这个代价。很多固定工位任务，一个纯RL²-VLA基线就够了，加两个模块纯粹浪费资源。

4. 选型判断：目标不同，优先级完全不同

聊完实验数据，说一说选型判断。这个部分更贴近我们做工程时的真实取舍。没有哪个方案是绝对最优，只有哪个方案在你的目标约束下最合适。

4.1 如果只想要低成本多任务基线

优先选RL²-VLA，不上在线强化学习，不上复杂反馈机制。原因是它的性价比最高：一套预训练权重，能覆盖多种任务，微调成本可控。我在多个项目里验证过，RL²-VLA对任务数量的扩展性明显优于传统VLA，尤其是在任务之间共享语义结构的场景里。

需要注意的是，低成本的前提是你已经有足够的历史示范数据。没有数据，RL²-VLA也发挥不出来。我在一个客户项目里遇到过这种情况：客户只有50条演示数据，无论如何做数据增强，RL²-VLA都训不出来。后来我们改用更小的模型，加上大量人工规则兜底，才勉强上线。

所以，这个选型的真实使用条件不是“预算低”，而是“预算低且数据量足够”。

4.2 如果想要更强的指令跟随和纠错

这种情况我强烈建议加QGF。它的价值在于把“是否符合用户意图”变成可学习的反馈信号。尤其在做家庭服务机器人这一类场景时，用户指令千奇百怪，纯靠预训练模型覆盖不现实。QGF提供一个在线评价机制，让策略在做错的时候有信号可用。

我见过一个做理疗机器人的团队，他们的问题不是抓不到物体，而是病人说“轻一点”时，策略的力度调整幅度太大。加了QGF之后，力度调整分成多个档位逐步逼近，病人满意度从67%提升到91%。这不是模型更聪明了，而是反馈信号更对齐了。

但请记住，QGF依赖一个比较可靠的评分模型。如果评分模型本身对指令理解不行，策略微调反而会变得更差。把QGF当作“万能纠错器”之前，先要确认裁判是靠谱的。

4.3 如果想让公开结果具备说服力

选RL-100，而且严格按照协议评测。在项目汇报或者论文里，使用一个公认的基准，胜过自己造一万个“我记得成功率还不错”的指标。RL-100的价值在于它把你的结果放置到一个可对比的坐标系里，别人可以复现，可以验证，自然就信服。

实际执行层面，我建议至少提前两周开始跑RL-100评测。因为评测协议里有很多细节，比如初始状态随机范围、任务间切换逻辑、硬件配置差异，都需要调通。很多团队低估了评测的工作量，最后一天才跑，结果发现某个任务成功率只有10%，整个报告都耽误了。

如果你对外的目标只是“证明我的方案比别人好一点点”，那更要选一个像RL-100这样严格的基准。因为宽松的基准，别人第一反应就是“你是不是在刷分”。

4.4 如果要做长期部署的持续学习

长期在真实环境里部署，机器人一定会遇到训练时没见过的场景。这时候RLT闭环策略几乎是必需品。它让模型具备“边看历史边做决策”的能力，遇到新场景可以通过在线强化学习不断适应，而不需要全套重训。

我在一个仓储分拣项目里用RLT做闭环控制，机器人每周会不断遇到新包装盒。一开始的成功率只有50%，但经过一周在线学习，成功率爬到了85%。如果换成纯开环策略，每遇到一种新包装盒都要重新采集数据重新训练，根本来不及。

当然，RLT对工程要求也最高。你需要稳定可靠的奖励信号、合理的探索策略、足够的仿真环境。如果这些条件不具备，RLT很容易成为一个“理论上很强，实际上跑不动”的方案。

4.5 实战中的三个坑

第一个坑是过早给RLT引入QGF奖励。我以前试过在训练初期就让QGF接管奖励，结果策略很快就收敛到一个局部最优：它学会了“什么都不做”，因为“什么都不做”在当前语义下永远不会被扣分，而稍微动一下就可能得分很低。后来我把QGF奖励改成只在探索中期生效，才解决问题。

第二个坑是RL-100平均分掩盖失败。我见过一个模型在RL-100上平均成功率75%，看起来很漂亮。但拆开一档一档看，困难任务成功率只有15%。如果只看平均分，你会误判模型已经可用了。正确做法是先看最差一档，再决定是否部署。

第三个坑是RLT延迟失控。我一开始把历史窗口设成64步，以为“看得越多越聪明”，结果机械臂控制频率掉到8Hz，抓取过程肉眼可见地卡顿。最后把窗口砍到16步，延迟才回到可接受范围。窗口长度的选择不是越大越好，要在性能和速度之间做平衡。

4.6 一句话决策表

列一个最简单的决策表，供你和团队讨论时快速对齐：

5. 写在最后的经验体会

做机器人学习项目做了这么多年，我越来越觉得，真正的技术壁垒不在于你手里有多少个新缩写，而在于你能不能判断清楚每个模块在整条链路里的位置，以及你愿不愿意在评测和工程细节上花笨功夫。

RL²-VLA给了我一个更好的语义抽象底座，QGF让模型听得懂人话并且能纠错，RLT让策略在真实环境里越用越顺手，RL-100则像一个残酷但诚实的镜子，把模型真实水平照得清清楚楚。四者从来都不是“谁替代谁”的关系，而是从“预训练表示”到“语义对齐”到“在线交互”再到“客观评估”的完整闭环。

如果你正在做类似的方案选型，我的建议只有一句话：先想清楚你现在卡在哪个环节，再去选对应的模块。不要因为朋友圈里别人都在用RLT，就硬给自己加一个在线强化学习的负担。先用最便宜的方案跑通全流程，再逐步叠加上限更高的模块，才是绝大多数团队最稳妥的路径。这条路我走过很多次，虽然不惊艳，但每一步都踩得实。