模型识别更多种类的物体-开发者社区

让模型识别更多种类的物体，核心步骤是收集新类别的3D标注数据，并在原模型基础上进行训练和微调。这个过程对工程能力有一定要求，但基本路径是清晰的。

整个训练流程主要包括以下四个阶段：

这是最关键也最耗时的一步。高质量的标注数据是模型性能的基石。

数据采集：采集包含新类别物体的图片，确保涵盖不同角度、距离、光照和背景。相机参数应与最终部署时一致。
3D标注：这是和普通2D检测最大的不同。你需要为每个物体标注3D边界框，包括中心点坐标、长、宽、高和朝向角。这通常需要借助专门的3D标注工具。
数据格式转换：mono3d_indoor_detection示例使用的是COCO格式的标注文件 (train.json,val.json)。你需要将自己的3D标注数据转换成这种格式

关于使用合成数据的说明：
除了依赖稀少的真实3D标注数据，在特定场景下使用仿真合成的3D数据进行训练也是一个值得考虑的路径。使用如NVIDIA Isaac Sim、Unreal Engine等仿真平台，可以自动、大规模地生成带有精确3D框标注的图像数据，有效降低对真实采集数据的依赖。

在PC端（需具备NVIDIA GPU）使用地平线的算法工具链来完成。

模型训练在PC端（需具备NVIDIA GPU）进行。推荐使用地平线官方提供的Docker镜像，它可以一键配置好所有训练环境，避免繁琐的依赖问题

。

从地平线的horizon_model_train_sample目录中获取CenterNet的参考代码

。

在此基础上，你需要进行以下几处关键修改：

修改数据集加载类
在src/lib/datasets/dataset路径下，创建一个新的数据集文件（如my_dataset.py）。你可以参考示例中的coco.py文件，修改num_classes为你的总类别数，并确保数据加载逻辑正确

。
修改配置文件
找到用于训练的YAML配置文件，将NUM_CLASSES修改为新数据集的类别总数
。
配置3D输出头
最关键的一步。在配置文件中，你需要找到用于回归3D信息的common_heads部分。CenterNet3DOutputParser的解析逻辑要求模型的输出必须包含特定顺序和含义的张量，你需要根据这个要求来设计你的输出头。具体可以参考如下结构与任务对应关系

完成上述配置后，在PC端执行训练脚本：

bash

python main.py ctdet --exp_id my_custom_robot --dataset my_dataset --batch_size 8 --lr 1.25e-4

命令中的my_dataset应与你上一步定义的类名一致。建议使用迁移学习策略，加载COCO或KITTI等大型公开数据集的预训练权重，能极大提升训练效率和最终精度

。

训练完成后的浮点模型需要转换为.hbm文件，才能在RDK上高效运行。

将训练好的PyTorch模型导出为ONNX格式。

地平线的BPU计算单元主要进行定点运算。因此，你需要使用其模型转换工具将浮点模型量化为定点模型

。这个过程中，你需要准备：

工具链会提供PTQ（训练后量化）和QAT（量化感知训练）

两种方式。PTQ流程简单，通常能满足需求；若精度不佳，可尝试QAT。

转换成功后，你会得到一个.hbm文件。将它替换到RDK开发板的config目录下

。

最后，你需要修改mono3d_indoor_detection节点代码中的CenterNet3DDetectionNode::PostProcess函数，更新其中的类别名称打印逻辑，使其能正确显示新类别的名字。

。这是保证它能在参考代码框架中直接运行的关键。
工具链文档是关键：上述过程中的许多细节，如YAML配置文件的具体语法、量化的参数等，都依赖于地平线工具链的版本。请务必仔细查阅你所使用版本的官方工具链文档。
从现有3D检测项目起步：你也可以搜索并参考其他开源的单目3D检测项目，如Monodle
、FCOS3D等，理解它们的完整实现，对训练会很有帮助。不过，将它们部署到地平线平台时，仍需要遵循其工具链规范。