LeRobot 快速上手指南:如何教机械臂学会抓取
【免费下载链接】lerobot🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot
想让机械臂学会"把红色积木放进碗",你需要自己录演示、对齐数据、训练策略、再部署回真机,每一步都可能卡在环境配置上。LeRobot 是 Hugging Face 推出的开源机器人学习框架,把这条完整流水线封装进一个 PyTorch 包里:统一接口控制不同机器人、标准化数据集格式、内置多种预训练策略,让你从"调硬件"转向"调模型"。
省掉的三件事:不用写驱动、不用管数据格式、不用挑算法
硬件无关的 Robot 接口,换机器人只换配置
以前每接一台机器人,都要重写一套舵机、电机、传感器的控制代码。LeRobot 用一个统一的Robot类把这层抽象掉——connect()、get_observation()、send_action()三个方法,从几十元的 SO-100 机械臂到人形 Reachy2 通用一套。你切换机器人时改的是配置,不是代码。第三方生态也走同一条路:任何安装后以lerobot_robot_等前缀命名的包会被自动发现,装完就能在命令行里直接引用。
LeRobotDataset:机器人数据的"通用插座"
各家机器人的数据格式五花八门,模型很难跨硬件迁移。LeRobotDataset 把这个问题定死了:视觉数据存成 MP4 视频流,状态和动作存成 Parquet 表格,两者天然对齐,支持流式读取和 Hub 托管,删片段、拆分、合并都有一行工具命令可用。你不用关心"视频帧和状态数据怎么对得上"这类脏活。
策略库即插即用:ACT、Diffusion、Pi0 都在里面
框架内置的纯 PyTorch 策略覆盖三类需求:模仿学习(ACT、Diffusion)、强化学习(HIL-SERL、TDMPC)、以及能听懂语言指令的视觉-语言-动作模型(Pi0、Pi0.5、Gr00T N1.7、SmolVLA 等)。选哪个策略,基本取决于你的任务和数据量,而不需要自己实现算法。
5 分钟跑通第一条指令:安装、录数据、开训
先装包并验证环境:
pip install lerobot lerobot-info一条命令装好,第二条确认安装成功,之后所有功能都以lerobot-开头的命令行工具存在。
采集演示数据(以 SO-101 机械臂为例,完整参数见常用命令速查):
lerobot-record \ --robot.type=so101_follower --robot.port=/dev/ttyACM0 \ --teleop.type=gamepad --dataset.repo_id=${HF_USER}/my_demo录制时用键盘控制:方向键保存或删除当前片段,Esc 结束并上传。数据自动同步记录视频、关节状态和你的动作指令。
有了数据就能开训:
lerobot-train --dataset.repo_id=${HF_USER}/my_demo \ --policy.type=act --output_dir=outputs/train/act_test没有本地 GPU?给命令加--job.target=a10g-small,训练会跑在云端机器上,完事把模型推回你的账号。
深挖 LeRobotDataset:视频帧和状态数据为什么永远不会错位
机器人数据集最常见的翻车点是错位:视频有 12 万帧、状态表少了 3 行,训练时才发现对不上。LeRobotDataset 的做法是让时间轴只有一份——视觉走视频流,状态/动作走 Parquet 表格,读取时框架自动做视频解码和时间对齐,你拿到的第 N 帧,视觉和状态天然是一对。
围绕这个格式还配了一整套工具:删片段、按比例拆分、增删特征、合并多个数据集,都有对应命令(数据集工具用法)。这意味着"数据质量不达标"不再等于推倒重采。
新手最常问的四个问题
没有 GPU 能跑吗?可以。训练时加--job.target=a10g-small走云端即可,本地连调试都不用 GPU。各策略的显存需求见硬件需求文档。
数据格式到底是什么?MP4 视频 + Parquet 表格。视频是像素,表格是关节角和动作指令,两者按帧号对齐;加载后自动处理视频解码,你直接按索引取样本就行。
我的机器人不在支持列表里怎么办?实现标准 Robot 接口(connect/get_observation/send_action三个方法)即可接入整套录制、训练、评估流程,集成思路见硬件集成文档。
训练时要盯着屏幕吗?不需要。命令默认集成 WandB 日志,训练完的模型直接推到 Hub,再用lerobot-rollout在真机上推理验证。
下一步可以做什么
- 打开快速上手 Notebook,把上面三条命令换成你的硬件参数跑一遍;
- 读一遍官方文档,重点看安装和数据集两章;
- 没有硬件也没关系:从 ACT 训练示例 入手,先在公开数据集上把训练和评估跑通,再考虑上真机。
先录 30 段演示,剩下的交给框架。
【免费下载链接】lerobot🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考