从预训练到真机运行：openpi 机器人 VLA 模型部署完整指南

从预训练到真机运行：openpi 机器人 VLA 模型部署完整指南

【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi

openpi 是 Physical Intelligence 团队开源的机器人模型工具包，包含 π₀、π₀-FAST 和 π₀.₅ 三个视觉-语言-动作（VLA）模型，全部基于 10000+ 小时的真实机器人操作数据预训练。它做的事情可以概括为一句话：输入摄像头图像加一句自然语言指令，输出一串可以直接执行的机械臂关节动作。本文以农业采摘与移栽这类高精度操作为场景，把感知、决策、执行的数据流讲清楚，再给出从环境配置、数据转换、模型微调到远程推理部署的最小命令集。

为什么让机器人"抓一把番茄"很难

在田里让机械臂完成一次采摘，变量比桌面任务多得多：果实位置随生长不断变化，温室和露天的光照差异巨大，抓取时既要避开枝条又不能捏伤果皮。传统做法是为每种作物单独写运动学程序，换个品种或换个光照条件就得重写，维护成本很高。

VLA 模型提供了另一条路：先在海量机器人数据上学通用的操作能力，再用少量任务数据微调。openpi 正是为此提供了完整的预训练权重和工具链。需要说明的是，它擅长的是桌面级和近景操作（抓取、放置、双臂协同），对任意机器人平台并不保证开箱即用，官方在 README 中对此有明确提示。

openpi 是什么：10000 小时预训练与三个模型家族

仓库提供三类模型，区别主要在动作生成方式：

• π₀：基于 flow matching 的 VLA，视觉编码器用 SigLIP（见 src/openpi/models/siglip.py），语言-视觉主干是 Gemma（见 src/openpi/models/gemma.py），动作头定义在 src/openpi/models/pi0.py
• π₀-FAST：自回归 VLA，动作通过 FAST action tokenizer 离散成 token 序列生成（src/openpi/models/pi0_fast.py）
• π₀.₅：π₀ 的升级版，用 knowledge insulation 技术训练，开放世界泛化能力更强

预训练基础权重（如pi0_base、pi0_fast_base）用于继续微调；官方还发布了若干"专家"checkpoint，例如在 DROID 数据集上微调的pi0_fast_droid，能在 DROID 平台上零样本完成多种桌面操作，泛化性在实践中被认为相当广。checkpoint 首次使用时会自动从gs://openpi-assets下载并缓存到~/.cache/openpi。

硬件门槛参考官方给出的单卡估算：

系统目前仅在 Ubuntu 22.04 上测试过。默认实现基于 JAX，2025 年 9 月起也提供了 PyTorch 版本（src/openpi/models_pytorch/），已在 LIBERO 基准上验证推理与微调。

一次完整的动作：从图像到关节角的数据流

按数据流向看，一次推理经过三个阶段：

1. 感知：客户端把多个视角的图像（如正面机位加腕部相机）和机器人本体状态（关节角、夹爪开合）打包成 observation 字典。图像在发送前缩放到 224×224 并转为 uint8 以压缩带宽，状态值无需归一化，服务端会处理。
2. 决策：服务端加载 checkpoint 后，SigLIP 把图像编码为视觉特征，与语言指令一起送入 Gemma 主干；随后动作头输出一段 action chunk（未来 N 步的关节动作序列，π₀ 用 flow matching 采样，π₀-FAST 用自回归解码）。
3. 执行：机器人端收到整段动作后，先按开环方式执行若干步，再发起下一次查询，而不是每步都等网络往返。这套节奏由客户端的 action_chunk_broker.py 管理，运行时框架在 src/openpi/models 之外的 openpi_client/runtime/runtime.py。

这种"服务端推理 + 客户端执行"的拆分正是它面向农业等计算资源受限场景的设计思路：GPU 可以放在场站服务器甚至云端，机器人本体只跑轻量的 openpi-client 包。

从克隆到上线：环境配置、数据转换、微调与服务部署四步

第一步：环境配置步骤

git clone --recurse-submodules https://gitcode.com/GitHub_Trending/op/openpi cd openpi GIT_LFS_SKIP_SMUDGE=1 uv sync GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

依赖管理用的是 uv，GIT_LFS_SKIP_SMUDGE=1是拉取 LeRobot 依赖所必需的。若宿主机环境难以收拾，可改用 Docker 方案，脚本和说明见 scripts/docker/install_docker_ubuntu22.sh 与 docs/docker.md。

第二步：数据采集与 LeRobot 格式转换

训练数据必须转换为 LeRobot 数据集格式。examples/下按平台提供了转换脚本，例如 LIBERO 的 examples/libero/convert_libero_data_to_lerobot.py：

uv run examples/libero/convert_libero_data_to_lerobot.py --data_dir /path/to/your/data

ALOHA 与 DROID 平台各有对应的 convert_aloha_data_to_lerobot.py 和 convert_droid_data_to_lerobot.py，可参照改写为自己的采集数据。数据转换完成后，训练前还需先计算归一化统计量：

uv run scripts/compute_norm_stats.py --config-name pi05_libero

这一步常因遗漏而报 "Missing norm stats" 错误。另外，如果你的机器人属于预训练分布内（如 ALOHA、Franka、UR5e），官方建议同时尝试复用预训练的归一化统计量，对比两种方式选更优的，详见 docs/norm_stats.md。

第三步：微调参数设置与训练命令

微调配置集中在 src/openpi/training/config.py，其中定义了数据映射（如 LiberoInputs）、LeRobot 数据处理和TrainConfig超参数。以 LIBERO 上的 π₀.₅ 为例，启动训练：

XLA_PYTHON_CLIENT_MEM_FRACTION=0.9 uv run scripts/train.py pi05_libero --exp-name=my_experiment --overwrite

XLA_PYTHON_CLIENT_MEM_FRACTION=0.9让 JAX 使用最多 90% 的显存（默认 75%）；checkpoint 保存在checkpoints/目录，训练过程可接 Weights & Biases 面板。LoRA 微调可用 22.5 GB 以上显存的卡完成，全参数微调则建议 A100/H100 级别；JAX 训练暂不支持多机，可用--fsdp-devices在单机内分片。PyTorch 路线的训练入口是 scripts/train_pytorch.py。

第四步：远程推理服务部署

训练完成后用策略服务器把模型暴露成 WebSocket 服务：

uv run scripts/serve_policy.py policy:checkpoint --policy.config=pi05_libero --policy.dir=checkpoints/pi05_libero/my_experiment/20000

服务默认监听 8000 端口。机器人侧安装openpi-client后用 WebsocketClientPolicy 构建 observation、调用infer()取回 action chunk 并执行即可，完整的客户端代码示例和图像缩放约定见 docs/remote_inference.md。没有真机时，可以先用 examples/simple_client 的随机观测脚本验证整条链路。

效果验证：农业场景下的关键指标

把 openpi 微调后用于采摘与移栽任务，可参考以下量化结果：

推理侧，优化后的模型结构在普通 GPU 上可稳定支撑 30 fps 以上的动作生成，满足 20~50 Hz 机械臂控制频率的远程推理需求。适配到具体作物时，常见的工作是调整视觉特征侧重（果实颜色与形状）、优化夹爪力度曲线以减少损伤，以及加入枝条避让逻辑。

边界与延伸方向

当前版本有明确的边界，规划项目时应先确认：

• 平台依赖：模型对 ALOHA、DROID（Franka）等平台验证最充分，换到自有机械臂需要按 docs/norm_stats.md 中定义的动作空间重写数据映射，且官方不保证迁移成功
• PyTorch 版本功能缺口：暂不支持 π₀-FAST、混合精度、FSDP 和 LoRA 训练
• JAX 训练暂不支持多机，大规模训练需走 PyTorch 路线

可预见的演进方向包括：融合近红外光谱等多模态信号判断作物内部品质、结合 SLAM 做田间移动导航、用数字孪生环境加速策略测试，以及通过模型轻量化降低边缘设备的推理能耗。对应的工程挑战——作物形态多样性、恶劣天气干扰、低成本部署、人机协作安全——也分别指向元学习式快速适配、传感器冗余、边缘计算优化与安全机制设计这几条路线。

openpi 的价值在于把"10000 小时预训练权重 + 数据采集到微调的工具链 + 远程推理部署"打包成了可复用的开源件，农业场景只是它验证过的一个落点。建议从 simple_client 无真机链路开始跑通，再逐步接入自己的硬件：

• 项目总览与 checkpoint 清单：README.md
• 远程推理接入指南：docs/remote_inference.md
• 归一化统计量与动作空间定义：docs/norm_stats.md
• 各平台示例与脚本：examples/

【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi