论文：RoboHarness: A Simple Harness Outperforms VLA and World Action Models（Qu, Chen, Zhang，浙江大学，arXiv 2610.14018，2026-09）
一、动机
- 目前的主流路线代价很高。VLA（RT-2、OpenVLA、π0/π0.5、GR00T）和世界动作模型 WAM（Faster-WAM、LingBot-VA 等）都要大量机器人动作数据，还要额外后训练。这类数据很难覆盖真实世界中多样的物体、场景和任务。
- 作者的判断：LLM 本身已经具备任务分解、规划、空间推理和工具调用能力。瓶颈不在模型要学会输出更多动作，而在于缺少一个简单且足够完备的动作接口。
- 已有的"LLM 调用技能函数"路线也有问题。Code-as-Policies、ASPIRE 这类方法的能力上限由预定义函数决定。遇到新物体或新任务就得再写函数，LLM 被锁在预定义的动作空间里。
- 借鉴 coding agent 的经验：少量简单、相互正交的原语工具，效果好于堆叠复杂的功能和脚手架。
二、核心要点
- 不训练任何模型。直接让通用 LLM（Qwen3.8-Flash-Next、Qwen3.8-27B、GPT-6-luna）通过工具控制机器人。
- 用空间定位（grounding）做桥梁。VLM 不擅长直接推理 3D 空间关系，但能在 2D 图像上相当准确地点出关键点。因此让 LLM 负责"点点"，3D 几何交给系统去算。
- 操作可以拆成两阶段：
- 第一阶段：夹爪与物体建立接触或抓取关系。
- 第二阶段：带着手中物体，去满足与另一物体之间的几何关系（例如钥匙对准锁孔）。
4. 两阶段都能用关键点约束表达。作者给出了完备性证明，以此论证这套工具集"最小且完备"。
三、框架
如图 1 所示RoboHarness概览：
1. 几何状态追踪（Geometry Tracker）
- 统一相机坐标系：x 朝前、y 朝左、z 朝上，在 R1 Pro 和 ARX X5 等不同本体上通用。
track_object工具的流程：- LLM 在头部相机图像上选择感兴趣的点。
- 用光流逐帧追踪这些点。
- 查深度图得到距离。
- 反投影到机器人坐标系。
- 把坐标和距离持续返回给 LLM。
2. 关键点约束工具（主要动作接口）
- 点的区分：LLM 给出点和约束，点分为 on-hand（夹爪或手中物体上，可移动）和 off-hand（场景中固定）。
- 执行流程：
- 采样候选位姿，筛出满足约束的。
- 剔除逆运动学不可达的。
- 规划运动轨迹。
- 执行。
- 约束模式：可以用 coordinate 模式写任意坐标约束。常用模式封装为 quick request，包括 touch、linear（共线）、line-vertical-plane、plane-parallel、line-vertical-ground、face to、move to reach、grasp。
3. 调整工具（低层直控）
- 包括左右末端位姿增量、底盘前后/侧移/旋转、身体升降和俯仰。
- 用于约束失败（如物体滑落）时的微调和恢复。
4. 完备性证明
- 命题 1：夹爪上三个固定点（左指尖、右指尖、夹爪中心）与物体表面三点之间，可以用 overlap、overlap、linear 三个约束建立解析双射。因此任意抓取位姿都能用关键点约束表达。
- 命题 2：两刚体之间任意 SE(3) 相对位姿，都可以由两条不平行的直线重合约束唯一确定。因此在刚性抓持的前提下，手中物体与其他物体的任意空间关系都能表达。
5. 闭环与技能
- Agent 按"跟踪 → 约束 → 执行 → 验证"闭环运行。
- 附录列出了一组可复用的 embodied skills，包括导航、开门/抽屉、抓取、放入容器、穿过窄道等。
四、实验与贡献
BEHAVIOR Challenge 2025（前 10 个长时程家务任务）
- RoboHarness 搭配 Qwen3.8-Flash-Next，平均 q-score 为44.5%。
- 对比：G0.5 为 34.8%，竞赛冠军 RLC 为 31.6%，Comet 为 28.9%，π0.5 为 28.1%。
100 个物体的拾取泛化测试
- RoboHarness 使用 0 小时机器人数据，成功率 68–86/100。
- 对比：π0.5 约 68，Faster-WAM 61，G0.5 约 59，OpenVLA-OFT 约 34。ASPIRE 的 pick 函数基线只有约 10。
结论：
- 泛化能力与机器人数据量不呈正相关。
- 多模态能力比参数量更重要。
主要贡献：
- 提出一个对 LLM 友好、表达力强的机器人控制面板：视觉点选 + 关键点追踪 + 几何约束求解，无需任何训练。
- 对关键点约束表示给出形式化的完备性论证，为"最小工具集"提供理论支撑。
- 主张一种新范式：通用 LLM 加上合适的工具 harness，可以超过 VLA 和 WAM。实验结果支持这一点，且模型和本体都可替换（plug-and-play）。
五、不足与可质疑之处
1. 对比实验的公平性存疑（最主要的问题）
- 100 物体测试中，VLA/WAM 基线用的是LIBERO 桌面场景和 LIBERO 微调权重（物体放在桌子中央）。RoboHarness 则在BEHAVIOR 的 R1 Pro上运行（物体放在地上）。
- 两边的场景、本体和难度都不同，而且这 100 个物体对 LIBERO 权重来说本身就是 OOD，基线吃亏。图 7 的横轴"机器人数据小时数"也是作者自行估算换算的。
2. BEHAVIOR 评测样本少
- 每个任务只跑了 5 个实例（seed 固定），没有方差或置信区间。
- 基线数字来自官方排行榜或其他评测设置，与 RoboHarness 的 5 实例样本不完全可比。
- 部分任务明显不如基线：can meat 为 0；Christmas decorations 为 0.22，低于 π0.5 的 0.56 和 RLC 的 0.43。
3. 依赖大量人工先验
- 每个任务都有人工编写、包含操作流程的专用 prompt。作者在局限性部分也承认，这是为了缓解 LLM 难以落地到物理本体的问题。
- 附录中的 skills 由各任务流程提炼而来。
- 所以"零训练"并不等于"零人工"，与端到端学习方法的比较因此打了折扣。
4. 缺少真实机器人实验和消融实验
- 全部实验都在仿真中完成，深度和光流在仿真里接近理想，缺少真实传感器噪声、遮挡、标定误差下的验证。
- 没有消融：tracker、quick request、调整工具各自的贡献不明。
- 也没有报告推理延迟、调用次数和成本。LLM 闭环的速度和实时性是实际部署的关键。
5. 理论的适用范围有限
- 证明只说明了几何关系可以被表达，没有涉及可达性、碰撞，以及 LLM 能否正确写出约束。
- 前提是刚性抓持和理想的点追踪，不覆盖可变形物体、铰接物体的连续运动、接触力控制和动态任务。
- 能力上限仍受采样、IK 求解器和运动规划器限制。
6. 写作与呈现上的问题
- 表 1 中 grasp 的描述与 move to reach 重复（"move chassis to make target reachable"），像是笔误。
- 图 7 图注写"VLA 蓝、RoboHarness 红"，但图中实际是 RoboHarness 蓝、VLA 黄。
- 代码尚未开源，可复现性暂时无法验证。
这篇论文的思路清晰，主张有冲击力："把精力放在接口设计上，而不是继续训练动作模型。"它延续了 ReKep 和 CoPa 的关键点约束路线，并在工具最小化和 agent 化上更进一步。但"超过 VLA/WAM"的结论建立在设置不对等、样本量小、依赖人工 prompt 的实验之上，需要更公平的对比和真实机器人验证来支撑。
