系列文章目录
目录
系列文章目录
前言
一、Isaac Lab-Arena 概述与核心优势
二、生态系统开发
三、未来Isaac Lab-Arena增强计划
四、如何使用Isaac Lab-Arena大规模设置任务并评估策略
4.1 环境创建与多样化
4.1.1 高效扩展任务以适应不同机器人、对象和场景
4.2 可选策略后训练
4.3 在并行环境中执行评估
五、开始使用 NVIDIA Isaac Lab-Arena
前言
通用机器人策略必须适用于多样化的任务、实体和环境，这需要可扩展、可重复的基于模拟的评估。建立大规模策略评估过程繁琐且依赖人工操作。若缺乏系统化方法，开发者需构建高开销的定制基础设施，而现有任务库在复杂度和多样性方面仍显不足。
本文介绍NVIDIA Isaac Lab-Arena——一个用于高效、可扩展的模拟机器人策略评估的开源框架。该框架由Lightwheel与NVIDIA Isaac Lab联合开发，作为后者的扩展模块，提供任务整理、多样化处理及大规模并行评估的简化API。开发者现可跳过系统构建环节，直接原型化复杂基准测试。本文同时展示端到端示例工作流，涵盖环境搭建、可选策略后训练及闭环评估环节。
一、Isaac Lab-Arena 概述与核心优势
我们宣布 Isaac Lab-Arena 预Alpha版正式发布，诚邀社区共同参与其路线图的制定。同时，我们正与基准测试作者合作，将其评估方案移植至 Isaac Lab-Arena 并开源，从而在统一核心上构建日益壮大的生态系统——提供即用型基准测试与共享评估方法。
Isaac Lab-Arena的核心优势包括：简化任务整理流程、实现自动化多样化、支持大规模基准测试、与数据生成及训练无缝集成等，具体详述如下：
- 简化任务构建（0到1）：
- 模块化：以乐高式架构取代单一任务描述，通过独立的物体、场景、具身化及任务模块即时组合Isaac Lab环境。
- 通用性：基于可操作性系统（如可开启、可按压）实现标准化交互，使任务能跨物体扩展。
- 可扩展性：记录的指标与数据具备扩展性，用户可根据需求精细控制仿真与分析过程。
- 自动化多样化（1到多）：轻松组合组件，将单一任务应用于不同机器人或物体——例如从家用汽水罐任务切换至工业管道任务——无需重写代码。未来团队计划利用基础模型自动生成多样化且真实的任务。
- 大规模并行策略无关基准测试：在数千个并行环境中评估任意机器人策略，实现高吞吐量的GPU加速评估。当前版本支持同构并行环境（含参数变体）。
- 基于统一核心访问社区基准测试与共享评估方法。
- 开源商业许可：开发者可自由使用、分发并参与框架开发。
- 与数据生成及训练的无缝集成：尽管Isaac Lab-Arena的核心功能是任务设置与评估，但它与数据生成和训练框架紧密集成，形成无缝闭环工作流。这包括Isaac Lab-Teleop、Isaac Lab-Mimic，以及NVIDIA Isaac GR00T N模型的训练后推理。
- 灵活部署：支持本地工作站或云原生环境（如OSMO）部署以实现CI/CD，亦可集成至LeRobot Environment Hub等排行榜与分发平台。
二、生态系统开发
英伟达正与基准测试开发者合作，基于Isaac Lab-Arena构建评估体系，并发布经模拟到现实验证的评估方法、任务及数据集，供社区在统一核心上复用与扩展。覆盖范围将横跨移动性、操作性及移动操作性三大领域的工业与科研基准测试。
Lightwheel公司联合开发并采用Isaac Lab-Arena框架，通过Lightwheel-RoboCasa-Tasks和Lightwheel-LIBERO-Tasks任务套件创建并开源了250余项任务，未来将致力于将其确立为行业基准。该公司还基于Isaac Lab Arena开发了RoboFinals工业基准测试，该测试能真实模拟复杂的现实环境。
Isaac Lab-Arena环境现已集成至Hugging Face LeRobot环境中心，开发者可在此无缝注册基于IsaacLab-Arena构建的自定义环境，并利用不断扩充的环境库对机器人策略进行后训练与评估，包括Isaac GR00T N、pi0、SmolVLA等模型。更多详情请参阅LeRobot文档。
NVIDIA通过Hugging Face平台向数百万开发者开放机器人模型与数据集，助力机器人技术成为该平台增长最快的领域。
RoboTwin正利用Isaac Lab-Arena构建RoboTwin 2.0的扩展版本——该平台是大型具身模拟基准测试系统，同时开发其他复杂长时域基准测试。该项目计划开源，目前正积极推进研究成果提交与代码更新。
此外，NVIDIA旗下通用具身智能实验室（GEAR）等研究机构正借助Isaac Lab-Arena平台，对Isaac GR00T N系列视觉语言动作模型进行大规模通用类人推理与技能评估。
英伟达西雅图机器人实验室（SRL）正将其在语言条件化任务套件及通用机器人策略评估方法的研究成果整合至Isaac Lab-Arena平台。
三、未来Isaac Lab-Arena增强计划
当前预Alpha版本刻意设计为功能有限的早期框架雏形，旨在为贡献者提供实践起点，用于实验、反馈共享及影响未来设计方向。
近期将新增构建复杂任务库的核心能力，包括：基于自然语言的物体放置、通过链式原子技能实现复合任务、强化学习任务配置，以及并行异构评估（例如在并行环境中分别放置不同物体）。
更长远的目标是探索更具智能体意识和神经网络特性的评估扩展方案，例如利用NVIDIA Cosmos实现世界模型驱动的神经模拟与场景生成，以及运用NVIDIA Omniverse NuRec构建真实世界映射的仿真环境。社区参与和反馈对这些发展至关重要。
四、如何使用Isaac Lab-Arena大规模设置任务并评估策略
本节展示端到端示例工作流，在Isaac Lab-Arena中使用GR1机器人评估Isaac GR00T N模型执行操作技能——打开微波炉门。涵盖环境设置、可选策略后训练及闭环评估流程。
4.1 环境创建与多样化
遵循GR1微波炉开门任务的先决条件，克隆仓库并运行Docker容器。随后在Isaac Lab-Arena中创建环境：将对象（微波炉）与可操作性（可开启、可按压）在场景（厨房）中结合，通过具身化实体（GR-1机器人）执行任务（开门）。用户可选择性配置基于遥操作的数据采集方案。
获取资产：
background = self.asset_registry.get_asset_by_name("kitchen")() microwave = self.asset_registry.get_asset_by_name("microwave")() assets = [background, microwave] embodiment = self.asset_registry.get_asset_by_name("gr1_pink")(enable_cameras=args_cli.enable_cameras) teleop_device = self.device_registry.get_device_by_name("avp")()更多详情请参阅资产设计与可操作性设计。
定位对象：
microwave_pose = Pose( position_xyz=(0.4, -0.00586, 0.22773), rotation_wxyz=(0.7071068, 0, 0, -0.7071068), ) microwave.set_initial_pose(microwave_pose)构思场景：
scene = Scene(assets=assets)创建任务：
task = OpenDoorTask(microwave, openness_threshold=0.8, reset_openness=0.2)任务封装了目标、成功标准以及终止逻辑、事件和指标。欲了解更多信息，请参阅任务设计。
最后，将所有组件整合为一个完整可运行的环境：
isaaclab_arena_environment = IsaacLabArenaEnvironment( name=self.name, embodiment=embodiment, scene=scene, task=task, teleop_device=teleop_device, )接下来，使用测试数据集运行环境。
下载测试数据集：
hf download \ nvidia/Arena-GR1-Manipulation-Task \ arena_gr1_manipulation_dataset_generated.hdf5 \ --repo-type dataset \ --local-dir $DATASET_DIR运行环境：
python isaaclab_arena/scripts/replay_demos.py \ --device cpu \ --enable_cameras \ --dataset_file "${DATASET_DIR}/arena_gr1_manipulation_dataset_generated.hdf5" \ gr1_open_microwave \ --embodiment gr1_pink机器人将替换NVIDIA收集的遥操作数据以开启微波炉。
有关创建新环境的全面技术细节和设计原则，请参阅教程文档。
4.1.1 高效扩展任务以适应不同机器人、对象和场景
本节提供多个示例，展示如何轻松修改任务中的对象或机器人——无需重建环境或管道。
示例 1 – 将对象从微波炉改为电钻：
background = asset_registry.get_asset_by_name("kitchen")() embodiment = asset_registry.get_asset_by_name("gr1_pink")() power_drill = asset_registry.get_asset_by_name("power_drill")() assets = [background, power_drill]示例 2 – 将具体实施例从 GR1 改为 Franka 机械臂，并将对象改为 cracker_box：
background = asset_registry.get_asset_by_name("kitchen")() embodiment = asset_registry.get_asset_by_name("franka")() cracker_box = asset_registry.get_asset_by_name("cracker_box")() assets = [background, cracker_box]示例 3 – 将背景从厨房改为工业包装台：
background = asset_registry.get_asset_by_name("packing_table")() embodiment = asset_registry.get_asset_by_name("gr1_pink")() cracker_box = asset_registry.get_asset_by_name("power_drill")() assets = [background, cracker_box]4.2 可选策略后训练
虽然 Isaac Lab-Arena 的核心功能是任务设置和策略评估，但该环境可无缝对接数据采集、数据生成及后训练流程——若您的策略需在评估前进行后训练。您可执行以下操作：
- 使用 Isaac Lab Teleop 采集演示数据
- 通过 Isaac Lab Mimic 将演示数据扩展为大型合成数据集
- 使用生成的数据集对Isaac GR00T N模型或任意机器人策略进行后训练
4.3 在并行环境中执行评估
下一步是评估训练后的策略。需特别说明的是，该框架可评估任何训练完成的机器人策略。
方案1 – 在单一环境中测试策略：
python isaaclab_arena/examples/policy_runner.py \ --policy_type gr00t_closedloop \ --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \ --num_steps 2000 \ --enable_cameras \ gr1_open_microwave \ --embodiment gr1_joint方案2 – 在多个并行同质环境中测试策略：
python isaaclab_arena/examples/policy_runner.py \ --policy_type gr00t_closedloop \ --policy_config_yaml_path isaaclab_arena_gr00t/gr1_manip_gr00t_closedloop_config.yaml \ --num_steps 2000 \ --num_envs 10 \ --enable_cameras \ gr1_open_microwave \ --embodiment gr1_joint五、开始使用 NVIDIA Isaac Lab-Arena
Isaac Lab-Arena 预发布版采用开源模式，诚邀您参与指导其未来的设计与开发。访问 GitHub 代码库和文档，即可开始体验 Isaac Lab-Arena 预发布版。
- 通过创建 GitHub 问题报告来反馈意见，可用于提交错误报告或建议功能与设计改进；通过创建拉取请求来贡献代码，可用于提出修改方案。
- 在Isaac Lab-Arena上创建任务或经实证验证的模拟-现实基准测试，并将其开源，助力构建共享的即用型机器人学习任务生态系统。
- 将任务发布至排行榜或评估中心（如LeRobot环境中心），使其在共享管道和注册库中可被发现并轻松运行。
