VLA模型真机部署实战：机械臂抓取试管从能推理到能干活

1. 为什么第二节才是真机部署的真正分水岭

很多人看这类部署教程，第一节讲环境、讲依赖、讲模型下载，跟着敲一遍命令，终端里没报红字，就觉得自己已经"跑通"了。我当初也是这么想的，结果到了第二节——也就是真正把策略网络接到物理机械臂上、让它端到端输出动作的那一刻——才发现前面那些都只是热身。第一节你面对的是一个静态的推理脚本，输入一张图、输出一串数字，错了重跑就行；第二节你面对的是一台会动、会撞、会把试管摔碎的物理设备，任何一次坐标系的错位、任何一帧观测的延迟，都会以"啪"的一声真实地反馈给你。

这一节的核心任务，是把一个视觉-语言-动作（VLA）模型从"能推理"推进到"能干活"。具体到我们这个场景，就是让机械臂完成"抓取试管并放入指定试管架孔位"这个动作。听起来简单，但真机部署里 80% 的坑都集中在这一步。我前后折腾了大概两周，摔碎过三根试管（后来换成塑料的才敢继续），才把整条链路稳定下来。这篇就把第二节里那些文档不会写、但你必须知道的东西，按我实际踩坑的顺序讲清楚。

先明确这一节你要达成的目标状态：机械臂上电后，相机持续采集画面，VLA 模型以固定频率接收观测并输出末端执行器的目标位姿或关节增量，底层控制器执行动作，机械臂完成一次完整的抓取-放置循环，且这个循环能连续重复而不发散。注意最后半句"不发散"才是真机部署和仿真最大的区别，仿真里策略偶尔抽风无所谓，真机上抽风就是事故。

适合读这篇的人：已经完成第一节环境搭建、模型能在离线数据上跑出合理动作的开发者；或者正在做具身智能相关项目、准备把策略上真机的同学。如果你连第一节都没过，建议先回去把推理链路跑通，否则这一节的内容你会看得云里雾里。

2. 上电之前必须锁死的三件事：坐标系、频率、安全边界

真机部署最忌讳的就是"先跑起来再说"。我见过太多人一上电就急着让机械臂动，结果第一下就撞到限位。第二节开始前，有三件事必须在纸面上、代码里都确认清楚，它们决定了后面所有调试是否有意义。

2.1 坐标系对齐：手眼标定没做对，后面全是白费

VLA 模型输出的动作，通常是相对于某个参考坐标系的位姿或增量。这个参考系可能是相机系、基座系、或者末端工具系，取决于你训练数据是怎么标的。真机部署第一步，就是让模型输出的坐标系和机械臂实际执行的坐标系严格对齐。

我们用的是眼在手外（eye-to-hand）的配置，相机固定在支架上俯视工作台。这种情况下必须做手眼标定，求出相机系到机械臂基座系的变换矩阵。标定方法我用的是经典的棋盘格 + 多组位姿求解，具体流程不展开，但有几个坑必须提醒：

• 标定点要覆盖整个工作空间，不能只在中心区域采几组。我第一轮只在试管架附近标定，结果机械臂一移到边缘区域，抓取位置就偏了两三厘米，试管直接抓空。
• 标定完成后一定要做验证：让机械臂末端去触碰工作台上几个已知物理坐标的点，看相机识别出来的坐标和实际坐标差多少。误差控制在 3mm 以内再往下走，超过 5mm 就别急着上策略，先回去重标。
• 标定矩阵要固化下来存成文件，每次启动加载，不要每次重新标。真机标定的重复性没你想的那么好，频繁重标反而引入不一致。

提示：如果你用的是末端自带相机的眼在手（eye-in-hand）配置，标定逻辑完全不同，需要标定的是相机系到末端系的固定变换，再结合正运动学推算。两种配置的代码不能混用，先确认自己属于哪种。

2.2 控制频率匹配：模型推理慢于控制周期时怎么办

VLA 模型参数量大，单次推理在消费级显卡上可能要几十到上百毫秒。而机械臂底层控制周期通常是 1kHz 甚至更高。这两者之间的频率鸿沟，是第二节里最容易被忽视、又最容易导致动作抖动的问题。

我的处理方式是分层：底层控制器维持高频的位置/速度闭环，上层策略以较低频率（我们实测稳定在 5-10Hz）输出目标点，中间加一个插值或滤波环节，把离散的目标点平滑成连续轨迹。具体做法是在策略输出和底层指令之间插一个轨迹生成器，用当前位姿和目标位姿做五次多项式插值，保证速度和加速度连续。

这里有个参数要调：策略输出频率太低（比如 2Hz），机械臂动作会一顿一顿的，抓取时容易因为停顿导致夹爪没夹稳；频率太高（比如 30Hz），模型推理跟不上，实际还是按最慢的那一环走，反而增加延迟。我们最后定在 8Hz 左右，配合 50ms 的插值窗口，动作看起来比较顺。

2.3 安全边界：软限位和急停必须比策略先上线

这一条是用血换来的。我第一次让策略控制真机时，没设软限位，模型输出一个超出工作空间的坐标，机械臂直接往桌子上怼，夹爪撞歪了。后来我养成的习惯是：任何策略上线前，先在控制层加一层安全过滤，把目标位姿限制在一个预先设定的安全盒子里，超出就截断或拒绝执行。

安全盒子怎么定：手动拖动机械臂（如果是协作臂可以开拖动模式）走一遍整个工作空间，记录各轴或笛卡尔空间的极限位置，然后往里收 10% 作为软限位。同时急停按钮必须放在手边，物理急停永远比软件保护可靠。另外建议在夹爪上装一个力传感器或者至少用电流反馈做碰撞检测，一旦检测到异常阻力立即停止。

注意：软限位是最后一道防线，不是唯一防线。策略本身的输出范围也应该在训练时就被约束在合理区间内，部署时再加一层运行时检查，双保险。

3. 观测管线的搭建：从相机帧到模型输入的完整链路

策略要干活，得先"看见"。观测管线就是把相机采集的原始画面，经过一系列处理，变成模型能吃的张量。这条链路看着简单，但每一环都有延迟和误差，累加起来足以让策略表现大打折扣。

3.1 相机选型与安装位置的实际考量

我们用的是 RGB 相机，没用深度相机。原因很实际：VLA 模型训练时用的就是 RGB 数据，你部署时换成深度图，输入分布对不上，策略直接失效。所以部署时的传感器配置必须和训练时一致，这是铁律。

安装位置上，俯视视角对抓取任务最友好，因为试管和孔位都在工作台平面上，俯视能同时看到目标和夹爪，遮挡少。但俯视也有问题：夹爪接近试管时，夹爪本身会遮挡试管顶部，模型可能看不清夹爪和试管的相对位置。我的解决办法是把相机稍微倾斜 15-20 度，既保留俯视的整体视野，又能在接近阶段看到夹爪侧面。

相机帧率不用太高，30fps 足够，但曝光要固定。自动曝光在机械臂运动时会因为画面变化频繁调整，导致图像亮度忽明忽暗，模型输入不稳定。我吃过这个亏，后来把曝光、白平衡全部锁死，画面一致性好了很多。

3.2 图像预处理：别在部署时引入训练时没有的变换

预处理这一步，原则只有一条：部署时的预处理必须和训练时完全一致。训练时如果做了归一化、裁剪、缩放，部署时一个都不能少，顺序也不能变。我见过有人训练时用了 ImageNet 均值方差归一化，部署时忘了，模型输出完全乱套。

具体到我们的管线：相机原始帧是 1280x720，训练时裁剪到 640x480 并缩放到 224x224，归一化到 [0,1] 再减均值除方差。部署时严格照做。这里有个细节：裁剪的区域要和训练时一致，如果训练时是中心裁剪，部署时也得中心裁剪，不能因为想看得更全就改成全图缩放。

延迟方面，预处理尽量用 GPU 做，或者至少用高效的库（比如用 OpenCV 的 CUDA 版本）。CPU 上做 resize 和归一化，一帧可能就要十几毫秒，加上推理时间，整体延迟就上去了。

3.3 时间同步：图像、关节状态、策略输出的时序对齐

VLA 模型通常不只吃图像，还吃当前的关节角度或末端位姿作为本体感知输入。这两路数据的时间戳必须对齐，否则模型看到的是"过去的图像 + 现在的关节"，动作就会错位。

我的做法是给每一帧图像打上采集时刻的时间戳，关节状态也打时间戳，然后在送入模型前，找时间戳最接近的一对。如果时间差超过阈值（我们设的是 20ms），就丢弃这一帧，等下一对。这样虽然会损失一些帧，但保证了输入的一致性。

策略输出的动作也要打时间戳，底层控制器执行时根据时间戳做插值。整个链路的时间戳统一用同一个时钟源，别一个用系统时间一个用相机硬件时间，那样对不上。

4. 策略上机后的第一次动作：从"能动"到"能抓"的调试路径

前面都是准备，真正让策略控制机械臂动起来的那一刻，才是第二节的高潮。但别指望第一次就能抓成功，我建议按下面的顺序逐步调试，每一步确认没问题再进下一步。

4.1 空载测试：先让机械臂跟着策略走一遍轨迹

第一步不要放试管，让机械臂空载执行策略输出的动作。观察几点：动作是否平滑，有没有突然的跳变；末端是否大致朝向试管架方向；整个轨迹是否在安全盒子内。这一步的目的是验证策略输出和底层执行的坐标系、尺度都对得上。

我第一轮空载测试时，发现机械臂总是往一个固定方向偏，后来查出来是标定矩阵的一个旋转分量符号搞反了。这种错误在空载时很容易看出来，如果直接上试管，就是一次次抓空。

空载测试通过的标准：机械臂能大致走到试管上方，末端姿态合理，动作连续无跳变。不要求精确，但方向不能错。

4.2 单次抓取：放一根试管，观察失败模式

空载没问题后，放一根试管在固定位置，让策略执行一次完整抓取。这时候大概率会失败，但失败的方式很有信息量：

• 如果夹爪根本没靠近试管，说明观测或坐标系还有问题，回去查 2.1 和 3.3。
• 如果靠近了但夹爪没对准，可能是图像分辨率不够，或者模型对精细定位的能力不足，考虑加一个局部的精细定位模块。
• 如果夹住了但抓不稳，检查夹爪力度和抓取点，可能是策略输出的抓取位姿在深度方向有偏差。
• 如果抓起来后放不进孔位，问题在放置阶段，可能是孔位识别不准或放置轨迹规划有问题。

我当时的失败模式是"靠近了但总是偏左两厘米"，查了半天发现是相机安装后轻微松动，标定矩阵失效了。所以每次调试前，先确认硬件没有松动。

4.3 连续循环：稳定性比单次成功更重要

单次抓取成功后，别急着庆祝，真正的考验是连续循环。让机械臂连续抓放 20 次，统计成功率。我第一轮连续测试的成功率只有 60%，失败集中在第 5-8 次，原因是试管被放回后位置有微小偏移，累积几次后策略就抓不准了。

解决办法有两个：一是每次放置后用一个简单的视觉检测确认试管实际位置，如果偏移超过阈值就微调；二是让策略对位置变化更鲁棒，这需要在训练数据里加入位置扰动的样本。前者是工程手段，后者是数据手段，实际项目里通常两者结合。

连续循环的稳定性还受温度影响。机械臂连续工作半小时后，关节发热可能导致零点漂移，抓取精度下降。如果发现运行一段时间后成功率下降，考虑加温度补偿或者定期回零。

5. 那些让我熬夜的典型故障与排查思路

真机部署的故障排查，和纯软件调试最大的区别是：你面对的是一个物理系统，故障可能来自任何一个环节，而且很多故障是间歇性的。下面列几个我实际遇到并解决的典型问题，附上排查思路。

5.1 策略输出抖动：从观测噪声到控制参数的逐层排查

现象：机械臂在接近试管时末端高频抖动，像在"犹豫"。

排查路径：先看观测，把模型输入的图像和关节状态打印出来，发现图像正常但关节角度有 ±0.5 度的噪声。这个噪声来自编码器，本来不大，但模型对本体感知输入敏感，放大了这个噪声。解决办法是在关节状态送入模型前加一个低通滤波，同时检查底层控制器的增益是不是太高，适当降低位置环增益后抖动明显减轻。

如果观测没问题，那就要看策略本身。有些 VLA 模型在动作输出的边界区域会输出震荡的值，这时候可以在输出后加一个速率限制，限制相邻两帧动作的最大变化量。

5.2 抓取成功率随运行时间下降：热漂移与累积误差

现象：刚开机时抓得很准，跑二十分钟后开始频繁抓空。

这个我一开始以为是模型问题，后来用激光跟踪仪测了一下末端实际位置，发现机械臂的零点在慢慢漂移。原因是关节电机发热后，编码器读数和实际角度产生了偏差。协作臂一般有温度补偿功能，但需要开启并正确配置。开启后漂移从几毫米降到 1mm 以内。

另一个可能的原因是累积误差：每次抓放后，如果放置位置有微小偏差，下一次抓取时策略基于新的观测调整，但调整本身也可能有误差，多次累积后就偏了。解决办法是定期做一次"归位"：让机械臂回到一个固定的参考点，重新校准相对位置。

5.3 模型推理延迟突增：显存碎片与后台进程

现象：运行一段时间后，策略推理时间从 80ms 涨到 300ms，机械臂动作明显变慢。

查下来是显存碎片化。VLA 模型推理过程中会动态分配显存，长时间运行后碎片增多，分配效率下降。解决办法是定期重启推理进程，或者用固定显存的推理方式（比如 TensorRT 的静态 shape 优化）。另外检查后台有没有其他进程占用 GPU，我们有一次是系统自动更新在后台跑，把 GPU 占了一半。

提示：真机部署的机器最好专机专用，关掉自动更新和无关后台服务。我吃过一次亏，演示到一半系统弹更新提示，虽然没中断，但吓出一身汗。

6. 让整套系统跑得更稳的工程化收尾

到这一步，策略已经能连续工作了，但离"可靠"还有距离。工程化收尾的目标是：让系统能长时间无人值守运行，出问题能自动恢复，数据能留下来供后续优化。

6.1 日志与回放：把每次抓取都变成可分析的数据

我现在的习惯是，每次抓取都记录完整的观测、动作、时间戳和结果（成功/失败）。这些数据一方面用于排查问题，另一方面可以直接用于后续的模型微调。记录格式用简单的 HDF5 或者 npz 就行，关键是字段要全，尤其是失败案例，比成功案例更有价值。

回放功能也很重要。当出现一次奇怪的失败时，能把当时的观测序列重新喂给模型，看它输出什么，这样能区分是模型问题还是执行问题。我搭了一个简单的回放脚本，加载记录的数据，逐步重现推理过程，排查效率高了很多。

6.2 异常恢复：卡死、丢帧、通信中断的自动处理

真机运行中，通信中断、相机丢帧、模型推理超时都是可能发生的。我的处理策略是分级：

• 轻微异常（单帧丢失、推理稍慢）：跳过这一帧，用上一帧的动作继续，同时记录。
• 中度异常（连续多帧丢失、推理超时）：暂停机械臂，保持当前位置，尝试重新初始化观测管线，成功则继续，失败则报警。
• 严重异常（通信中断、控制器无响应）：立即停止所有动作，触发安全状态，等待人工介入。

这套逻辑用一个状态机实现，状态之间的转换条件要明确。别小看这个，有一次相机 USB 接触不良，画面偶尔黑一帧，如果没有丢帧处理，模型看到黑图会输出乱七八糟的动作，机械臂就乱动了。

6.3 从能跑到好用：几个提升体验的小改动

最后分享几个让系统从"能跑"到"好用"的小改动，都是实际用下来觉得值的：

• 加一个简单的 Web 界面或者命令行工具，能一键启动、暂停、复位，不用每次都敲一堆命令。
• 在机械臂工作台周围加一圈柔光灯，保证光照稳定。自然光随时间变化，模型输入的一致性会受影响。
• 试管架用深色不反光的材料，减少反光对视觉识别的干扰。我们一开始用白色架子，反光严重，换成磨砂黑之后识别稳定多了。
• 定期（比如每周）重新做一次手眼标定，因为相机支架可能因为震动有微小位移。标定流程脚本化，几分钟就能完成。

这套系统我前后调了大概两周，从第一次上电撞桌子，到最后能连续跑几百次抓放不出大问题。回头看，第二节的难点从来不是模型本身，而是模型和物理世界之间的那层"胶水"——坐标系、时序、安全、异常处理，每一环都得抠。把这些抠明白了，VLA 才真正算是在真机上"会放试管"了。