一、前置准备
- 环境配置：完成ROS2安装（含启用ROS2扩展、构建Isaac Sim ROS2工作空间、配置环境变量），确保系统支持相关依赖（如使用边界框发布节点需安装
vision_msgs，或启用内部ROS库）。 - 知识储备：掌握ROS2话题、发布者/订阅者工作原理，熟悉Isaac Sim的Omnigraph操作及机器人相机/传感器添加流程（完成对应基础教程）。
- 场景准备：已导入URDF格式的Turtlebot机器人模型至场景中。
- 系统注意：Windows 10/11系统下，RViz2可能因设备配置无法正常启动。
二、相机配置与视图管理
（一）相机类型与添加
- 预设相机：视图窗口默认提供透视相机（Perspective），及顶视图（Top）、前视图（Front）、右视图（Right side）等预设视角。
- 自定义相机：需添加2个固定相机（命名为Camera_1、Camera_2），具体添加流程参考「添加机器人相机和传感器」教程。
（二）多视图查看
通过「Window > Viewports > Viewport 2」打开额外视图窗口，在各视图左上角的相机按钮中选择目标相机视角，实现多相机画面同步观察。
三、相机数据发布实现（核心）
（一）通过Omnigraph构建发布节点
1. 基础节点组合（以RGB发布为例）
需搭建包含以下节点的Action Graph，节点参数配置如下表：
| 节点名称 | 输入字段 | 配置值 |
|---|---|---|
| Isaac Create Render Product | cameraPrim | /World/Camera_1 |
| enabled | True | |
| ROS 2 Camera Helper | type | rgb |
| topicName | rgb | |
| frameId | turtle |
2. 核心节点功能说明
- On Playback Tick：仿真运行时生成时钟信号，接收该信号的节点将在每个仿真步骤执行计算。
- ROS 2 Context：基于DDS中间件创建通信上下文，默认Domain ID为0；勾选「Use Domain ID Env Var」可读取环境变量
ROS_DOMAIN_ID。 - Isaac Create Render Product：创建渲染产物，获取指定相机的渲染数据并输出路径，可通过
enabled字段控制渲染启停。 - Isaac Run One Simulation Frame：确保流水线在启动时仅运行一次。
- ROS 2 Camera Helper：指定发布数据类型（如RGB、深度）和ROS话题名称，自动生成
/Render/PostProcessing/SDGPipeline后处理图（仅会话内有效，不保存为资产）。
（二）支持发布的感知数据类型
单个Camera Helper节点仅支持一种数据类型，需在节点属性的type下拉菜单中选择，支持以下数据：
- 基础传感器数据：RGB图像、深度图（Depth）、点云（Point Cloud）。
- 语义标注数据：2D紧密边界框（BoundingBox 2D Tight）、2D宽松边界框（BoundingBox 2D Loose）、3D边界框（BoundingBox 3D）、语义标签（Semantic Labels）、实例标签（Instance Labels）。
注意：数据类型指定并激活后不可修改，需更换节点或重新加载场景。
（三）快捷操作：菜单生成发布图
通过「Tools > Robotics > ROS 2 OmniGraphs > Camera」打开配置窗口，快速创建多相机传感器发布图，需配置：
- 核心参数：Graph Path（图路径）、Camera Prim（相机原语）、frameId、Node Namespace（节点命名空间）。
- 发布数据选择：勾选需发布的RGB、深度、点云等数据，对应话题自动配置（如RGB话题默认
/rgb，深度话题默认/depth）。 - 扩展选项：勾选「Add to an existing graph?」可将节点追加至现有图，复用已有时钟、上下文和仿真时间节点。
（四）相机参数计算（Camera Info Helper Node）
自动计算相机内参矩阵，支撑数据校准：
- K矩阵（内参矩阵）：3x3矩阵，基于图像宽高（width/height）、焦距（focalLength）、孔径尺寸计算，核心参数为fx（水平焦距）、fy（垂直焦距）、cx/cy（图像中心坐标）。
- P矩阵（投影矩阵）：3x4行主序矩阵，单目相机Tx/Ty=0，双目相机自动计算两相机的x/y偏移量。
- R矩阵（校正矩阵）：仅适用于双目相机，3x3旋转矩阵，用于对齐相机坐标系与理想立体像面，使极线平行。
四、数据验证与可视化
- 话题监听：使用命令
ros2 topic echo /<topic>（如ros2 topic echo /rgb）查看原始数据。 - 图像可视化：通过
ros2 run rqt_image_view rqt_image_view /<topic>（如/depth）查看深度图等数据。 - RViz2可视化：
- 启动命令：在ROS2终端输入
rviz2。 - 配置步骤：添加「Image」显示类型，将话题设置为目标发布话题（如
rgb），需确保Fixed Frame配置正确。
- 启动命令：在ROS2终端输入
五、常见问题与解决方案
- 深度图仅显示黑白：因视场角（FOV）设置为“无限深度”导致对比度失真，需调整视场角以限制深度范围。
- 无ROS2图列表：未启用ROS2桥，需先启用扩展再操作。
- 节点类型修改无效：数据类型激活后不可直接修改，需更换节点或重新加载场景并再生SDGPipeline。
六、进阶方向
- 脚本化发布：通过Python脚本实现按需发布或按指定频率周期性发布（参考ROS2 Camera相关示例）。
- 合成数据扩展：学习Replicator教程，实现场景语义标注，支撑边界框、标签等高级感知数据发布。
- 独立Python工作流：参考Standalone Python示例，构建脱离图形界面的自动化发布流程。
