毫米波雷达目标分类实战：从点云到神经网络的完整工程路径

毫米波雷达怎么做目标分类？用神经网络是不是非得上一堆高性能计算平台？这是我在做车载感知项目时被问得最多的一个问题。先说结论：毫米波雷达确实可以像摄像头一样认出行人、车辆、自行车，但它的数据形态和图像完全不一样，网络结构、训练数据、部署方式都得重新设计。

这篇文章不会从头讲雷达原理，而是聚焦一条完整的工程路径：从雷达输出什么样的数据、为什么传统方法不够、到数据怎么采、网络怎么选、模型怎么训练和部署。适合已经了解雷达基本概念、准备用神经网络做多目标分类的朋友；如果你是刚入门，我也会把必要的背景补上。整个思路同样适用于安防、机器人、智慧交通等领域，只是场景约束不同。

1. 目标分类到底在解决什么问题

1.1 毫米波雷达的输出能力边界

毫米波雷达一般输出距离、速度、角度、RCS，以及由这些构成的点云。它不像摄像头能给出纹理、颜色、边缘，也不像激光雷达能给出高密度三维几何。它给出的东西更像是一张“稀疏的带速度标签的散点图”。

在做分类之前，先想清楚一件事：雷达能够稳定区分的目标类别，往往不是靠“外形”，而是靠运动特性和散射特性的组合。行人步态会产生周期性的微多普勒调制；车辆的刚体速度快、RCS大；自行车既有人体摆动又有金属框架反射。这些物理差别，才是分类算法可以依赖的根。

如果脱离物理基础直接上神经网络，大概率会遇到训练集上很好、现场乱跳的问题。我见过不止一个项目，模型在录制数据上准确率超过95%，一换场地就掉到70%以下，原因就是训练时没有理解雷达数据为什么可分、靠什么可分。

1.2 不分类会怎样

如果没有目标分类，只有检测和跟踪，系统只知道“哪里有目标、以什么速度运动”，但不知道“那是什么”。这在很多场景下会出问题。

以辅助驾驶为例，系统发现前方有一个速度较慢的目标。它到底是行人、是停在路边的车，还是骑自行车的人？处理策略完全不同。对行人要主动避让，对静止车辆要考虑刹停，对骑行者要保持安全距离。如果没有分类结果，就只能统一当作障碍物处理，容易造成频繁误触发，或者漏掉真正危险的慢速目标。

安防场景也一样。一个误报率很高的雷达报警器，会让安保人员逐渐忽视真实告警。分类的价值不是把准确率从95%做到96%，而是把“误报率”这个工程指标真正降下来。每次误报都会消耗现场人员的信任，而信任一旦没了，再好的算法也白搭。

1.3 与摄像头、激光雷达的配合关系

毫米波雷达分类要做，但不能指望它替代一切。在车载系统里，雷达的独特优势是全天候、低成本、直接测速；摄像头擅长语义和颜色；激光雷达三维精度高但贵。

常见的方案是“雷达给出候选目标位置，摄像头做语义确认；摄像头失效（逆光、夜间）时，用雷达的粗分类结果兜底”。雷达分类模型的定位，通常不是独立的感知全部，而是多传感器融合里的一个可靠底座。

这意味着分类模型的设计要同时满足两个要求：单帧推理要快（实时性），类别结果要稳（时序一致性）。否则融合端很难处理。哪怕模型单帧精度高，如果预测结果在“行人-车辆-行人”之间来回抖动，融合端也会很难决定到底信谁。

2. 传统方法为什么不够用

2.1 RCS、多普勒和“手写特征”的老路

在神经网络普及之前，雷达目标分类基本靠专家规则。

最常见的做法是看RCS。行人RCS通常小，车辆RCS通常大，只要设一个阈值就能粗分。问题是RCS和距离、姿态、环境高度相关：一个背着金属工具的工人可能比小型车RCS更大；同一辆车从侧面看和从正面看，RCS能差几十倍。只靠RCS阈值做分类，本质上是在赌目标姿态稳定，这在真实场景里根本不成立。

另一个经典特征是微多普勒。雷达波打到行人摆动的四肢上，会产生围绕主多普勒频移的边带；车辆则几乎是刚体，频谱带宽窄。理论上通过提取频谱宽度、周期、边带间隔可以判断目标类别，但这套“手写特征”非常依赖人工调参，场景一换就得重新调。

我在实际项目里试过基于规则的方法：封闭停车场里效果尚可，一上开放道路就崩。原因在于信噪比稍微下降、多径反射一出现，人工设计的特征边界就被击穿了。不是规则本身错，而是真实世界的雷达回波太复杂，手工特征根本覆盖不过来。

2.2 神经网络带来了什么改变

神经网络解决的正是“特征设计”这个瓶颈。它不需要你手工定义“什么是摆臂的多普勒边带”，只需要你给它足够多的标注数据和合适的损失函数，它自己能找出可区分的模式。

从工程角度看，最大的变化有三点。

第一，特征表达更鲁棒。网络学到的特征不是单一的谱宽度或RCS阈值，而是多种线索的组合，对参数变化的容忍度更高。

第二，端到端的调优路径更短。输入可以是CFAR检测后的点云，也可以是距离-多普勒热图，输出直接是类别置信度；中间不需要人维护一套复杂的状态机。

第三，迭代更可控。出现新类别或新场景时，收集数据、微调网络，比重新设计几十条规则要快得多。规则系统里每加一个场景可能就要加两条规则，而神经网络只需要加数据、调权重。

2.3 你需要先搞懂的雷达基础指标

在选网络之前，雷达侧的几个指标必须心里有数：距离分辨率、速度分辨率、角度分辨率、点云密度、刷新率。

距离分辨率取决于带宽，带宽越大分辨率越高，典型的高分辨率雷达可以做到厘米级。速度分辨率取决于帧时间，帧时间越长、慢速目标区分能力越好，但刷新率会下降。角度分辨率取决于天线数，虚拟阵列越多角度越细。

这些指标决定了网络能“看到”什么。点云稀稀拉拉只有几十个点，就不要指望PointNet类网络做出像素级的分类；距离-多普勒热图看不清行人微多普勒边带，就要考虑调整雷达参数而不是换网络。

提示：拿到新雷达的第一件事，不是急着写模型，而是先采集一段原始数据，用可视化工具把点云和热图看一遍。观察目标在你想要的分类场景下是否真的可分。这一步能省掉后面大量无效尝试。

3. 训练数据：最容易被低估的一环

3.1 公开数据集与自采数据怎么选

很多入门者公开数据一跑通就以为大功告成，这是误区。公开数据集实验环境相对干净，目标类型覆盖有限；真实场景里树叶晃动、铁皮反射、多径拖尾都会让分布漂移。

有条件一定要自采一部分数据，至少要包含你自己部署场景的“底色噪声”。比如车载场景要包含城市道路、高架、隧道、地下车库；安防场景要包含雨天、栏杆、卷帘门。公开数据集只建议作为预训练或消融实验的起点。

如果预算紧张，可以把采集分成小批量多场景：每天在不同时段走同一条路线，保证光照和天气覆盖；固定机位的安防雷达，则要刻意在不同人流量条件下长时间录制。毫米波雷达不受光照影响，但雨雪、风、地面湿度都会改变信号格局，这些必须靠真实采集才能进到训练分布里。

3.2 采集场景设计和标注规范

采集时要注意三点。

第一，目标尽量“独立性训练”。一开始不要在同一场景同时出现大量不同类型目标，让标注和网络学习都简单一点。比如一个行人单独行走、一辆车匀速经过、一辆自行车直线骑行，分别录。然后逐步加入混合场景。

第二，雷达视角要覆盖。目标从正面接近、背面远离、横向穿越，在雷达数据里差异很大。每个类别至少要覆盖0度、30度、60度、90度等相对角度。

第三，标注一致。标注的是什么，决定了网络学的是什么。毫米波雷达数据往往没有直观图像，建议用同步摄像头辅助标注，但要注意时间对齐。以点云形式标注时，要定义清楚“一个目标”的范围：行人的腿步回波算不算同一个目标？自行车旁边的人算不算？这些在标注规范里必须写死。

我踩过的一个坑是：标注人员把一辆正在转弯的卡车标成了“车辆”，但雷达点云里车头和车厢因为多普勒速度不同被分成了两簇。模型学到的是“一簇点是一个目标”，导致后来明明是一个行人，因为腿部点云分叉被误判成两个目标。标注口径的不一致，会直接污染整个模型的学习目标。

3.3 数据增强、类别不均衡与评估集划分

雷达数据也能做增强，但和图像增强不一样。常用的做法包括：对点云做随机的整体平移/旋转、对距离-多普勒热图加噪声、在CFAR检测结果上随机丢弃或增加点、模拟不同速度偏移。不要直接套用图像的色彩抖动、裁剪，意义不大。

类别不均衡是常态。行人出现的频率和车辆不在一个数量级，骑行者更少。常用办法是过采样少数类+在损失函数里加大少数类权重；但最有效的还是补充采集，让真实分布和期望分布接近。

评估集划分要按场景而不是按帧随机分，否则同一段连续视频的帧会串到训练集和测试集，指标虚高。正确做法是把完整路段或完整时间段作为最小单位划分，保证同一目标不会同时出现在训练和测试里。

4. 输入形式决定网络结构

4.1 点云输入：从PointNet到体素化

如果前处理已经做了CFAR检测，输出是一组稀疏点，每个点带距离、速度、角度、RCS等特征。这类输入最适合用点云网络。

最简单的是PointNet类结构，直接对点集做共享MLP和最大池化，平移不变性好，处理几百个点都没问题。缺点是难以捕捉局部结构——两个相邻点的组合特征在最大池化过程里容易丢。改进方案是PointNet++式分层聚合，或者把点云体素化成3D网格再用稀疏卷积。

车载雷达点云每帧通常几十到几百个点，PointNet类足够用；但如果点云很密，例如超过几千点，用稀疏卷积效率更高。从工程角度，点云输入最大的优势是计算量小、部署友好，因为不需要保留完整的距离-多普勒图，只处理检测出的目标点。

4.2 距离-多普勒热图：CNN的分类路线

距离-多普勒热图是把一个波束内的回波强度画成二维图，横轴速度、纵轴距离。它保留了完整的幅度分布，信息量比点云大，同时保留了雷达信号里的噪声和杂波。

用CNN处理热图，本质和图像分类一样：输入是一张单通道或三通道的二维图，网络用若干卷积层提取特征，最后全连接输出类别概率。这套方案在公开数据集上表现往往比点云方案好，因为网络能利用到CFAR检测前的完整信号，行人微多普勒边带、目标扩展都看得见。

代价是计算和存储大，且需要把距离、速度范围先归一化到固定尺寸。工程里需要控制热图尺寸，比如距离维128、速度维64，模型参数控制在几兆字节左右。

需要注意：热图里目标可能不止一个，直接把整张图做分类只能回答“这个场景里有没有行人/车辆”。要解决多个目标的分类，得先做目标检测，再对每个框做分类，流程复杂度高出一截。

4.3 微多普勒时频谱：时间维度的分类

微多普勒谱是短时间内连续多帧的速度-幅度谱堆叠起来的时频图，能够反映行人摆臂、呼吸等周期性运动。对行人-骑行人这类难以靠单帧区分的类别，微多普勒特征是很有用的。

处理这类输入常用CNN加时序建模，比如先把单帧的频谱特征用CNN抽取，再用LSTM/GRU或Transformer融合历史信息。训练时输入长度可以取几十帧，输出为窗口内的目标类别。它的实时响应会比单帧模型慢，但对周期性特征极其敏感。

不过微多普勒谱只适合对已经检测的单目标做精细分类，不适合一上来做全场景多目标分类。有效做法是：点云或热图网络先快速区分车辆和行人等大类，遇到“行人vs自行车”这类难例时，再用微多普勒小网络做二次确认。

4.4 三种方案怎么选

选型时不要只看公开精度，还要看你的项目约束。如果芯片算力有限，点云方案优先；如果雷达分辨率很高且场景目标不多，热图方案性价比最好。我的习惯是先做一版点云基线，再看难例集中在哪，决定要不要上更重的输入。

5. 从一颗雷达到一个可运行分类器的完整流程

5.1 硬件与参数配置

选雷达时先看三件事：频段、天线数、能不能输出原始数据。

频段上，24GHz雷达便宜但带宽受限，距离分辨率差；77GHz或79GHz雷达带宽大、分辨率高，是车载和高端安防的主流。天线数决定了角度分辨率，4发4收算入门，12发16收可以做较高精度的点云成像。更关键的是，你要确认雷达是否允许你拿到原始中频数据或者至少是距离-多普勒热图，而不是只给滤波后的目标列表，否则后面做分类会很被动。

拿到雷达后，参数配置阶段就要为分类服务。距离分辨率和最大距离之间需要折中；速度分辨率和帧率之间需要折中。建议先把场景想清楚：行人识别为主就牺牲一点最大距离，把距离分辨率调高；高速车辆分类就保证速度范围足够宽。

注意：很多雷达默认配置为了和其他模块兼容，参数不是为分类调的。动手前务必把CFAR阈值、距离维点数、多普勒点数写进配置文件里，每次实验记录清楚，否则后面调模型时根本说不清数据差异来自哪里。

5.2 信号处理链：从ADC到特征图

无论哪种输入，信号处理链一般是这样：ADC采样、距离FFT、多普勒FFT、CFAR检测、点云生成或热图输出。

距离FFT是把每个chirp采样序列变换到距离维，得到不同距离的幅值；多普勒FFT是对同一距离门连续多个chirp做变换，得到速度维。做完两级FFT得到的就是距离-多普勒热图。如果还要角度，需要对各通道做第三维FFT或数字波束形成，得到方位角。

CFAR检测的作用是从热图里找出超过局部噪声水平的峰值，抑制虚警。CFAR阈值设得太低，输出一堆杂波点，神经网络会被无关点干扰；设得太高，弱目标被丢掉。实际工作中可以用两级CFAR：先用宽松阈值保召回，再用分类网络把虚假目标滤掉。这种“检测粗筛+网络精分”的结构，比单纯依赖规则调阈值更省心。

5.3 模型训练与评估细节

以点云分类为例，一个可以快速跑通的模型结构大致如下：输入每个点的坐标和RCS，经过三层MLP升维，再做全局最大池化，最后过全连接层输出三类或四类概率。损失函数用交叉熵，优化器用带权重衰减的Adam或SGD，初始学习率1e-3量级，训练50个epoch左右，但要加早停。

下面是我常用的一段PyTorch风格伪代码，核心点不在于结构，而在于输入数据的组织方式：

# 伪代码：点云分类模型的最小骨架 class RadarPointNet(nn.Module): def __init__(self, num_classes=4): super().__init__() self.mlp = nn.Sequential( nn.Conv1d(4, 64, 1), # 每个点: x, y, v, rcs nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 128, 1), nn.BatchNorm1d(128), nn.ReLU(), nn.Conv1d(128, 256, 1) ) self.head = nn.Sequential( nn.Linear(256, 128), nn.ReLU(), nn.Linear(128, num_classes) ) def forward(self, points): # points: [B, C, N] x = self.mlp(points) x = x.max(dim=-1)[0] # 全局最大池化 return self.head(x)

训练时最容易出问题的是数据组织。雷达点和图像像素不一样，没有固定顺序，所以每个batch要把点数不等的样本pad到同一长度，并记录每帧真实点数，池化时忽略padding点。否则结果全乱。

评估指标建议看混淆矩阵，而不是只看accuracy。行人样本少时，即便模型把所有行人都判成车辆，accuracy也可能很高，但实际毫无价值。再加每个类别的精确率、召回率和误报率。时序稳定性可以用连续帧预测的平滑度来评估，必要时加一个轻量的时序滤波或隐马尔可夫模型。

5.4 边缘端部署的取舍

部署到嵌入式平台时，模型大小和速度往往比精度更敏感。四类目标的点云分类网络通常不到1MB，推理一次在几毫秒到几十毫秒之间，CPU或低成本NPU就能跑。热图CNN要谨慎，输入尺寸128x64的热图模型可能在1-5MB，算力也高一个量级。

部署常见做法是：先用训练框架导出ONNX，再量化成INT8。量化对雷达点云网络的影响通常可控，但对热图网络有时会有几个百分点的精度损失，需要做校准集。雷达数据的动态范围大，量化时不要随便拿几帧当作校准集，要覆盖远近目标、强弱回波。

推理速度之外，还要考虑功耗和散热。车载和安防设备往往没有强风冷，模型推理占用过多CPU会让整个系统发热。我给另一个项目做优化时，把热图网络改成点云网络后，整机功耗明显下降，精度损失用后续的时序滤波补回一部分。这就是前面说“输入形式决定网络结构”的实际体现。

6. 现场问题与调试经验速查

6.1 典型故障现象与解决对照表

把我在几个项目里踩过的坑整理成一张速查表，按现象、可能原因、检查方向来列。

这张表只是起点，现场问题往往不是一个原因，而是多个因素叠加，需要按信号链路逐级排查。不要一上来就怀疑模型，很多问题在雷达参数和信号处理环节就已经存在，模型只是把问题放大或转移了。

6.2 多径、遮挡与静止目标识别

多径是雷达分类里最头疼的问题之一。地面、墙面反射会让一个目标产生多个镜像点，分类网络可能把镜子里的“假目标”当成真目标。缓解方法包括：利用速度一致性把同一目标的多径点合并；对远距离目标降低RCS权重；在训练数据里手工标注多径样本，让网络学会忽略它们。

静止目标识别又是一个难点。传统检测-跟踪里静止目标和杂波混在一起难以区分；分类任务里静止行人、静止车辆在点云上差别很小。我的经验是引入微多普勒和RCS扩展性——行人静止时也有呼吸和微小摆动，车辆静止时几乎无微动，这对区分两者很有效。没有微多普勒信息的雷达芯片比较难做，需要结合摄像头或提高距离分辨率。

遮挡问题相对简单但容易被忽略。雷达波会被车体遮挡，行人走到车后时点云突然消失，分类结果在“行人”和“背景”之间跳变。解决办法是在跟踪层做存活期管理，目标短暂消失时不立刻把类别清零，而是保留置信度衰减式估计。

6.3 雷达参数与神经网络联调的心得

雷达参数和神经网络不是两个可以独立调优的黑盒。我见过团队花两周调网络，后来发现问题出在雷达CFAR配置：强反射目标旁边的小目标被抑制了，模型再怎么加容量也没用。

所以我的习惯是：先做“参数扫描+可视化检查”。改一档CFAR阈值或FFT点数，就保存一组热图和点云，人工看几帧，确认目标边界是不是清楚、杂波是不是可控。等数据形态稳定下来，再进入模型调优阶段，这样能少走很多弯路。

另外要强调日志记录。每次实验至少记录：雷达型号、固件版本、距离/速度/角度分辨率、CFAR参数、模型结构、训练集来源、天气和场景描述。没有这些，出了现场问题根本没法回放。雷达数据的可复现性比视觉数据更难，因为信道状态、目标位置、周围反射体都无法完全复现，只能靠详实日志缩小排查范围。

7. 扩展思路与个人建议

7.1 多雷达融合与特征级融合

单颗雷达的视角和分辨率终究有限，多颗雷达拼一个环视系统很常见。多雷达融合有三种层级：目标级、特征级、原始级。目标级融合最简单，各雷达出分类概率，再做加权决策；特征级融合把各雷达点云统一到车体坐标系后输入同一网络，效果更好但需要精确标定；原始级融合数据量太大，目前不推荐。

如果雷达和摄像头都有，可以做决策级融合，比如雷达负责远距离粗分类和测速，摄像头负责近距离语义确认。融合的核心原则是给每个传感器配置合理的置信度，而不是简单投票。

7.2 模型轻量化：剪枝、量化、蒸馏

已经部署的模型如果还想提速，顺序建议是先做结构剪枝，再量化，最后蒸馏。剪枝可以把不重要的卷积通道去掉；量化把权重从FP32压到INT8，几乎能白捡一到两倍速度；蒸馏则是用一个大的热图模型去教一个小的点云模型，适合算力受限但类别容易混淆的场景。

雷达模型的数据量通常不如视觉数据大，所以蒸馏效果未必理想，需要自己试。轻量化和精度之间永远是权衡，没有免费的午餐。做量化敏感度分析时，按层逐个观测精度下降幅度，能帮你找到最值得保留精度的关键层。

7.3 部署之后仍需长期迭代

分类模型上线后不是结束。雷达终端会越来越多，各台设备的信道和噪声有差异，模型需要做设备级适配。建议建立回归测试集：每次模型更新，都要在同一批历史数据上跑全套指标，防止修了一个bug引入另一个回归。

我个人感受最深的一点是：毫米波雷达目标分类的瓶颈，长期看不是模型结构，而是数据质量和数据处理链路的稳定性。神经网络只是把雷达物理世界的信号映射成类别标签，如果前端的信号处理没有把信息充分保留，再强的网络也救不回来。先把数据流程做扎实，模型自然能work。

如果后续有机会，我想把微多普勒时序模型和雷达点云模型做一个统一的在线蒸馏框架，让终端在运行中持续适应新场景。这条路难度不小，但值得走。