Isaac Lab 仿真录制完整指南：遥操作录演示、回放验证到视频导出

Isaac Lab 仿真录制完整指南：遥操作录演示、回放验证到视频导出

【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab

Isaac Lab 的仿真录制与回放工具链覆盖三件事：用遥操作录制专家演示数据、回放验证数据质量、把数据集导出成 MP4 视频。各环节都有独立的命令行脚本，数据统一存放在 HDF5 文件中，不需要写任何胶水代码。下面按「录数据 → 验数据 → 导出分享」三步走一遍完整操作。

🎮 用键盘遥操作录制 10 条演示

数据采集的第一环，是把人类操作下的机器人行为存成数据集。record_demos.py 专为这个环节设计：它先检查任务环境是否配置了 IsaacTeleop 遥操作栈，没配置就回退到内置的键盘或空间鼠标，所以你只需要确定任务名和操控设备。

./isaaclab.sh -p scripts/tools/record_demos.py \ --task=Isaac-Lift-Cube-v0 --teleop_device=keyboard \ --dataset_file=./datasets/my_demos.hdf5 --num_demos=10

启动后，视窗中会出现任务场景和控制说明面板。用键盘驱动机械臂完成抓取，当任务的成功条件连续满足 10 步（--num_success_steps的默认值）时，这条演示被标记为成功并导出；录满--num_demos指定的条数后脚本自动退出，全部数据写入my_demos.hdf5。注意数据集只导出成功的片段，失败的尝试不会混进文件里。如果任务节奏较快，还可以用--step_hz提高环境步进频率（默认 30Hz），让录制过程更贴近真实时间。

▶️ 回放演示并校验数据质量

数据存下来只是第一步，能不能被正确读回同样关键。replay_demos.py 会把 HDF5 中的 episode 逐条送回仿真器执行，方便你确认录制链路没有损坏。

./isaaclab.sh -p scripts/tools/replay_demos.py \ --dataset_file=./datasets/my_demos.hdf5 \ --select_episodes=0 1 2 --validate_states

--select_episodes只回放指定的 episode 序号，留空则回放全部；--validate_states会逐步比对从数据集读出的状态与运行时状态，两者完全一致才说明数据链路无损。--num_envs控制并行回放的环境数，默认 1，做状态校验时它必须为 1。如果还想确认回放后的任务成功率，追加--validate_success_rate即可，它会按任务环境的成功判据重新结算每条演示。

📼 把 HDF5 数据集转成 MP4 视频

验证通过后，下一个需求往往是分享：给合作者看视频，比发数据文件高效得多。hdf5_to_mp4.py 从 HDF5 中抽出相机帧（支持 RGB、分割、法线、深度等多种模态），再合成 MP4：

uv run python scripts/tools/hdf5_to_mp4.py \ --input_file=./datasets/my_demos.hdf5 --output_dir=./videos

输出目录会为每条演示生成独立的 MP4，默认分辨率 1280×704、30fps，可用--video_width、--video_height、--framerate调整，用--demo_id只导出某一条。默认处理的输入键是table_cam、wrist_cam等常见相机名，如果你的数据集用了不同的相机命名，用--input_keys指定即可。反向的工具 mp4_to_hdf5.py 解决另一个问题：把做过视觉增强（换光照、换配色）的 MP4 替换回数据集的相机帧，动作与状态数据原样保留——这是做视觉域随机化时的常用手法。

🎬 另外两个录制场景：训练视频与相机输出

除了演示数据，还有两类常见需求：训练过程留档、保存相机原始输出。

训练时自动录制视频

统一训练入口 train.py 内置了视频录制开关，属于机器人仿真视频录制的另一类典型场景，无需修改任何代码：

uv run python scripts/reinforcement_learning/train.py --task=Isaac-Cartpole-v0 \ --headless --video --video_length 100 --video_interval 500

--video开启录制，--video_length控制每段视频记录的步数，--video_interval控制两段录制之间的间隔，视频保存在检查点目录下的 videos 文件夹里。录制会增加渲染开销，建议只在需要复盘训练过程时开启。

实时保存相机渲染输出

如果你要的不是演示数据集，而是相机图像本身，可以直接跑相机教程脚本 run_usd_camera.py：

./isaaclab.sh -p scripts/tutorials/04_sensors/run_usd_camera.py --save --draw

--save把指定相机的数据实时落盘，--draw在视口中画出深度点云，方便你直观检查抓取图像的质量，--camera_id可切换要检查的相机。

把数据用起来

「录制 → 回放 → 导出」已经覆盖机器人仿真数据生产的完整链路。下一步，拿这份 HDF5 数据集去 scripts/imitation_learning/ 的模仿学习脚本里训练第一个策略。

【免费下载链接】IsaacLabUnified framework for robot learning with multi-physics/renderer support项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab