news 2026/2/8 7:19:38

自动驾驶—CARLA仿真(12)client_bounding_boxes demo

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
自动驾驶—CARLA仿真(12)client_bounding_boxes demo

📌测试用例

PythonAPI/examples/client_bounding_boxes.py

客户端侧 3D 边界框(Client-Side Bounding Boxes)可视化示例,用于:

  1. 手动驾驶一辆主车(WASD 控制)
  2. 实时计算并绘制周围车辆的 3D 边界框
  3. 所有边界框计算在客户端(Python)完成,不依赖 CARLA 服务端


🔑 主要模块解析

1.ClientSideBoundingBoxes类:3D 边界框核心引擎

这是脚本的核心技术模块,完全在客户端实现 3D→2D 投影。

核心方法:
  • get_bounding_box(vehicle, camera)

    • 获取车辆 8 个 3D 顶点的世界坐标
    • 通过世界→相机坐标变换相机内参投影归一化设备坐标
    • 返回 8 个 2D 像素点 + 深度值
  • _create_bb_points(vehicle)

    • 根据vehicle.bounding_box.extent生成局部坐标系下的 8 个顶点
    • 顺序:底面 4 点(顺时针)+ 顶面 4 点(对应底面)
  • 坐标变换链
    车辆局部坐标世界坐标相机坐标2D 像素

  • draw_bounding_boxes()

    • 使用pygame.draw.line绘制 12 条边(底面 4 + 顶面 4 + 竖边 4)
    • 颜色固定为BB_COLOR = (248, 64, 24)(橙红色)

关键优势
不依赖 CARLA 的实例分割传感器,仅需 RGB 摄像头 + 车辆列表即可生成 3D 框。


2.BasicSynchronousClient类:主控制循环

管理仿真、渲染和用户输入。

核心组件:
  • 同步模式

    self.set_synchronous_mode(True)
    • 确保每帧精确控制,避免传感器数据错位
  • 自定义摄像头

    • 分辨率:960x540(1920/2 x 1080/2)
    • FOV:90°
    • 位置:车后方 5.5 米,高度 2.8 米,俯角 -15°(第三人称视角)
  • 手动控制逻辑

    按键功能
    W前进(throttle=1, reverse=False)
    S倒车(throttle=1, reverse=True)
    A/D左/右转向(±0.05 增量)
    Space手刹
  • 图像同步机制

    self.capture=True# 请求下一帧# 回调中: if self.capture: self.image = img; self.capture = False
    • 避免多线程竞争,确保渲染与控制同步

3. **坐标系处理

脚本完整实现了CARLA 坐标系到标准计算机视觉坐标系的转换

步骤变换
1. 车辆局部坐标(x,y,z)(CARLA 标准)
2. 世界坐标通过vehicle.get_transform()
3. 相机坐标通过camera.get_transform().get_inverse_matrix()
4.CV 坐标系(x,y,z) → (y, -z, x)(关键!)
5. 2D 投影K * [y, -z, x]^T

💡 注释中的cords_y_minus_z_x正是这一步转换。


4.相机内参校准
calibration=np.identity(3)calibration[0,2]=VIEW_WIDTH/2.0# cxcalibration[1,2]=VIEW_HEIGHT/2.0# cycalibration[0,0]=calibration[1,1]=VIEW_WIDTH/(2.0*tan(FOV/2))# fx=fyself.camera.calibration=calibration
  • 手动构建3x3 相机内参矩阵 K
  • 用于get_bounding_box()中的 3D→2D 投影

🎯 与服务端方案对比

特性客户端方案(本脚本)服务端方案(instance_segmentation)
依赖仅需 RGB 摄像头 + 车辆列表需要 instance_segmentation 传感器
精度基于车辆真实 bounding_box基于像素分割,可能有锯齿
性能CPU 计算投影(Python)GPU 渲染分割图

⚠️ 注意事项

  1. 仅显示其他车辆

    • vehicles = self.world.get_actors().filter('vehicle.*')包含所有车
    • 但未过滤主车,主车自身也会显示边界框(可通过if vehicle.id != self.car.id过滤)
  2. 深度过滤

    bounding_boxes=[bbforbbinbounding_boxesifall(bb[:,2]>0)]
    • 移除相机后方的物体(深度 ≤ 0)
  3. 坐标系假设

    • 假设车辆 bounding_box 中心在(0,0,0)(CARLA 默认)
    • 若车辆模型偏移,需调整_vehicle_to_world

✅ 总结

该脚本是 CARLA客户端 3D 感知的经典实现,展示了:

  1. 如何从车辆物理属性(bounding_box)生成 3D 顶点
  2. 如何实现完整的 3D→2D 投影管线
  3. 如何在纯 Python 客户端实现 3D 边界框可视化

它是学习自动驾驶 3D 目标检测基础的绝佳起点,尤其适合理解坐标变换、相机模型、投影几何等核心概念。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/1/30 17:13:10

自动驾驶—CARLA仿真(14)draw_skeleton demo

📌 测试用例 PythonAPI/examples/draw_skeleton.py 行人骨骼(Skeleton)可视化示例,用于: 在仿真中生成一个行人(Pedestrian)实时获取其骨骼关节点的 3D 世界坐标将骨骼投影到 RGB 摄像头图像…

作者头像 李华
网站建设 2026/1/29 14:12:56

永久在线的数字人服务如何实现?Linly-Talker+云端GPU详解

永久在线的数字人服务如何实现?Linly-Talker云端GPU详解 在直播带货、智能客服、远程教学等场景中,我们越来越多地看到“数字人”走上前台——它们能说会动,表情自然,甚至拥有专属音色和人格设定。但你是否想过:这些看…

作者头像 李华
网站建设 2026/2/1 17:53:32

5、图论与中心性度量:网络分析的核心基础

图论与中心性度量:网络分析的核心基础 图论基础 图论是一门历史悠久且研究广泛的数学分支,它是理解复杂网络的第一大支柱。在网络分析中,我们从图的基本定义出发,了解到图有多种类型,包括无向图、有向图、加权图和二分图。这些不同类型的图对于准确描述现实世界网络的丰…

作者头像 李华
网站建设 2026/2/6 14:44:00

29、网络度相关性的深入剖析

网络度相关性的深入剖析 在网络分析中,度相关性是一个关键概念,它能帮助我们理解网络中节点连接的模式和特性。下面将详细介绍度相关性的相关内容,包括结构截断、 assortative 和 disassortative 网络的特点、rich - club 行为以及 Newman 相关系数等。 1. 结构截断与度相…

作者头像 李华