nuscenes数据集：PETRV2-BEV

nuscenes数据集：PETRV2-BEV

1. 训练PETRV2-BEV模型

在自动驾驶感知系统中，BEV（Bird's Eye View）检测方法因其对多视角相机信息的高效融合能力而受到广泛关注。PETR系列模型通过将图像特征与3D空间位置编码结合，在不依赖深度预测的前提下实现了高质量的BEV目标检测。其中，PETRV2-BEV作为其升级版本，进一步优化了特征提取结构和训练策略，显著提升了在nuScenes数据集上的检测性能。

本文将详细介绍如何基于Paddle3D框架完成PETRV2-BEV模型在nuScenes v1.0-mini数据集上的完整训练流程，涵盖环境配置、数据准备、模型评估、训练执行、可视化分析及推理部署等关键环节，并提供可复现的操作命令与参数设置建议。

2. 使用星图AI算力平台训练PETRV2-BEV模型

星图AI算力平台为深度学习任务提供了高性能GPU资源与便捷的开发环境支持，特别适合大规模视觉感知模型的训练需求。该平台预装了主流深度学习框架与工具链，用户可通过SSH远程接入并快速启动训练任务。

以下操作均在星图平台提供的Ubuntu服务器环境中完成，已预先安装Anaconda与PaddlePaddle相关依赖。我们将在此基础上构建PETRV2-BEV的训练环境，并利用其强大算力加速模型迭代过程。

3. 准备环境

3.1 进入paddle3d_env conda环境

首先激活Paddle3D专用的虚拟环境，确保所有依赖库版本一致：

conda activate paddle3d_env

该环境应已包含PaddlePaddle 2.4+以及Paddle3D开发包。若未安装，请参考官方文档进行配置。

4. 下载依赖

4.1 下载预训练权重

为加快收敛速度，使用官方提供的在nuScenes全量数据上预训练的模型权重作为初始化参数：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

此权重文件基于VoVNet主干网络与GridMask增强技术训练而成，适用于800×320输入分辨率的PETRV2架构。

4.2 下载nuscenes v1.0-mini数据集

获取nuScenes轻量版数据集用于快速验证与调试：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后目录结构应符合Paddle3D的数据读取规范，包含samples、sweeps、maps和v1.0-mini标注文件夹。

5. 训练nuscenes v1.0-mini数据集

5.1 准备数据集

进入Paddle3D项目根目录，并生成适用于PETR模型的标注缓存文件：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

该脚本会解析原始JSON标注，生成包含图像路径、标定参数、实例标签等信息的.pkl文件，提升后续训练时的数据加载效率。

5.2 测试精度

在开始训练前，先加载预训练模型对mini验证集进行推理，确认基础性能水平：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

输出结果如下：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.446 0.626 0.168 1.735 0.000 1.000 truck 0.381 0.500 0.199 1.113 0.000 1.000 bus 0.407 0.659 0.064 2.719 0.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.378 0.737 0.263 1.259 0.000 1.000 motorcycle 0.356 0.748 0.314 1.410 0.000 1.000 bicycle 0.063 0.760 0.236 1.862 0.000 1.000 traffic_cone 0.637 0.418 0.377 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

当前mAP为26.69%，NDS为28.78%，表明模型具备基本检测能力，但仍有较大提升空间，尤其在trailer、bicycle等小类上表现不佳。

5.3 训练

启动微调训练流程，针对mini数据集进行100轮迭代：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

关键参数说明：

• --epochs 100：充分适应小规模数据集
• --batch_size 2：受限于显存容量（单卡A100）
• --learning_rate 1e-4：较低学习率以稳定微调
• --do_eval：每保存一次模型即执行验证集评估

训练过程中可通过日志监控loss变化与指标更新情况。

5.4 可视化曲线

使用VisualDL启动可视化服务，实时查看训练动态：

visualdl --logdir ./output/ --host 0.0.0.0

5.5 端口转发访问可视化界面

将远程服务器的VisualDL服务端口映射至本地浏览器：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

连接成功后，在本地访问http://localhost:8888即可查看Loss、LR、mAP等指标随epoch的变化趋势。

5.6 查看Loss曲线

重点关注以下曲线：

• total_loss：整体损失是否平稳下降
• det_loss：检测分支损失收敛情况
• aux_loss：辅助任务（如depth classification）损失
• mAP和NDS：验证集核心指标走势

若出现震荡或不降反升现象，需检查学习率设置或数据加载逻辑。

5.7 导出PaddleInfer模型

训练完成后，导出静态图模型以供部署使用：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出内容包括：

• inference.pdmodel：网络结构
• inference.pdiparams：模型权重
• inference.pdiparams.info：参数元信息

可用于后续在Paddle Inference引擎中进行高性能推理。

5.8 运行DEMO,结果可视觉

执行推理演示脚本，生成可视化检测结果：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

输出图像将保存在默认路径下，展示多视角相机融合后的BEV检测框，便于直观评估模型表现。

6. 训练xtreme1数据集[可选]

6.1 准备数据集

若需在自定义数据集（如xtreme1）上迁移训练，需先转换标注格式：

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

确保脚本能正确读取xtreme1的json标注并生成对应info文件。

6.2 测试精度

加载原模型在新数据集上测试零样本性能：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/

输出结果如下：

mAP: 0.0000 mATE: 1.0703 mASE: 0.8296 mAOE: 1.0807 mAVE: 0.6250 mAAE: 1.0000 NDS: 0.0545 Eval time: 0.5s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.000 1.308 0.232 2.074 0.000 1.000 truck 0.000 1.114 0.621 0.042 0.000 1.000 bus 0.000 1.000 1.000 1.000 1.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.000 1.280 0.444 1.611 0.000 1.000 motorcycle 0.000 1.000 1.000 1.000 1.000 1.000 bicycle 0.000 1.000 1.000 1.000 1.000 1.000 traffic_cone 0.000 1.000 1.000 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

可见模型在未经过适配的情况下几乎无法识别xtreme1中的对象，mAP为0，说明领域差异显著，必须重新训练。

6.3 训练

启动迁移训练：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

建议根据实际数据分布调整数据增强策略与类别权重。

6.4 导出PaddleInfer模型

训练结束后导出最优模型：

rm -rf /root/workspace/xtreme1_release_model mkdir /root/workspace/xtreme1_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model

6.5 运行DEMO,结果可视觉

运行演示程序查看检测效果：

python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

生成的可视化结果有助于判断模型是否成功捕捉到目标物体的空间分布。

7. 总结

本文系统地展示了在星图AI算力平台上使用Paddle3D框架训练PETRV2-BEV模型的全流程，覆盖从环境搭建、数据处理、模型评估、训练执行到推理部署的各个环节。通过对nuScenes v1.0-mini数据集的微调实验，验证了预训练模型的有效性；同时提供了迁移到xtreme1等私有数据集的参考路径。

主要实践要点总结如下：

1. 合理利用预训练权重：可大幅提升小样本场景下的初始性能。
2. 精细化控制训练参数：低学习率、小批量、周期性评估有助于稳定收敛。
3. 重视数据预处理一致性：info文件生成必须与配置文件匹配。
4. 借助VisualDL实现训练可视化：及时发现问题并调整策略。
5. 导出标准化推理模型：便于后续集成至车载或边缘设备。

未来可进一步探索更大规模数据集训练、多模态融合（LiDAR+Camera）、以及模型压缩与量化部署方案，持续提升BEV检测系统的实用性与泛化能力。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。