无人机航拍目标检测实战：Mask R-CNN+HRNet的COCO预训练模型调优指南

无人机拍回来的素材，第一眼看上去很好看，高楼、道路、车流清清楚楚。但当你把素材喂给一个在COCO上预训练好的Mask R-CNN检测模型时，输出结果可能会让你怀疑人生：一排停在路边的车只检出来两三辆，行人在俯视图里糊成一团阴影，偶尔还有把卡车顶棚认成公交车的离谱误检。这不是模型不行，而是我们拿着“平视自然图像”训练出来的权重，硬套在“俯视航拍场景”上，中间缺了一整套适配工作。

这篇内容围绕mask-rcnn_hrnetv2p-w18-2x_coco这个模型组合展开，聊的是我在模拟项目X里，用它做无人机城市环境车辆与行人检测时踩过的坑、调过的参数以及最终沉淀下来的可靠做法。不是纯理论，也不是读文档复述，而是把“模型能跑”到“场景能稳”这条路完整拆开。如果你手头正在做航拍目标检测，或者要把某个COCO预训练分割模型迁移到垂直视角，这篇应该能帮你省下两到三周的摸索时间。

1. 为什么是Mask R-CNN + HRNetV2p-W18-2x这个组合

1.1 无人机视角带来的“反常规”挑战

先放下模型，想想无人机拍到的画面和普通行车记录仪、监控摄像头有什么本质区别。无人机在城市环境里做目标检测，最常见的姿态是俯拍，镜头光轴与地面接近垂直，车辆呈现的是车顶视图而不是车侧视图，行人则往往只是一个头顶轮廓加肩膀，特征信息比平视视角少很多。

更麻烦的是尺度跨度。同一张4000x3000像素的航拍图里，近处的车可能有四五百像素长，远处的车只有二三十像素；行人更夸张，十几像素的情况很常见。这个尺度跨度对检测器的锚框设计、特征金字塔的层级选择都是直接考验。

还有遮挡和阴影问题。城市里树木、立交桥、建筑阴影都会挡住目标，俯视视角下阴影的方向和长度随太阳高度角变化，模型很难靠“阴影形状”来辅助判断。加上无人机本身在运动，曝光和白平衡在快速变化，这些叠加起来，比常规安防摄像头场景要棘手得多。

1.2 HRNet骨干在小目标上的优势

mask-rcnn_hrnetv2p-w18-2x_coco这个配置里，骨干网络是HRNetV2p-W18-2x。HRNet和常见的ResNet系列最大的区别是：ResNet是串行结构，逐层下采样再上采样，高分辨率信息在前几层之后就会被压缩；而HRNet从第一个阶段开始就同时维护多个分辨率的特征流，高分辨率分支全程在线，不同分辨率之间反复交换信息。

这对小目标很关键。无人机航拍里大量目标就在30像素以下，ResNet50这种骨干在深层特征图上一个28x28的目标可能只剩不到7x7的响应区域，细节早就丢了。HRNet的高分辨率分支能让小目标的空间细节保留到最后，配合FPN的多尺度融合，中小目标的召回率会有肉眼可见的提升。

W18-2x的意思是基础通道宽度18，通道数翻倍。相比更大的HRNetV2p-W32、W48，W18-2x在精度和显存占用之间更均衡，在常见的单卡环境里能把batch撑起来，训练迭代速度更快。我前面用过更深的重骨干，效果没提升多少，显存倒是先吃紧了。

1.3 Mask分支不是白给的

Mask R-CNN的掩码分支在这个场景里不是装饰。车辆在俯视图里有明确的轮廓，掩码可以用来做边界规整、密度统计和重叠判断；行人虽然轮廓不规则，但掩码能帮你把连在一起的群体分开。另外在训练阶段，掩码分支会给骨干网络带来额外的监督信号，让特征表达更偏向“形状敏感”方向，这其实会反哺检测框的定位精度。

我做过一个对照：同一个数据集，用不带Mask分支的Faster R-CNN同骨干配置训练对比，mAP掉了约1.8个点，但车辆检测框的稳定性差异更明显。加了掩码监督的模型，框的边界更贴合车顶形状，这对后续做车辆计数、跨帧匹配很有帮助。

2. 环境、权重与第一轮推理：先把模型跑起来

2.1 环境配置清单与版本搭配

这个模型组合跑起来，对环境要求不算苛刻，但也别随手装个CPU版就想往下走。我用的环境是Linux + 一块中端显卡，显存8GB起步，推理时1024短边输入可以稳定在3到5帧每秒，训练时batch size小一点也能跑。PyTorch版本建议保持1.8以上，CUDA对应版本装好就行，最怕的是装了老版本然后底层算子不支持FP16。

权重这里用的是COCO预训练权重，不需要从头训。第一次使用我建议先用官方给定配置跑推理脚本，确认权重能正常加载、输出格式正确，再动手改。COCO数据集的80个类别里，当前场景最常见的是person、car、truck、bus，有条件的话把bicycle、motorcycle也一起保留，尤其是路口场景，外卖骑手和快递三轮车占比不低。

注意：加载预训练权重时，经常会遇到分类层和掩码头维度不匹配的报错。这是因为有些权重版本只保留检测头配置。处理方法很简单，只看backbone和neck部分的键值，忽略头部直接加载，然后再重新初始化分类分支。

2.2 一段可复用的推理代码框架

下面这段是我在模拟项目X里实际用过的推理代码骨架，做了简化处理，去掉了具体配置读取细节。核心逻辑是：读图、归一化、前向推理、解析预测结果。注意输入尺寸和颜色通道顺序，千万别把BGR和RGB搞混。

import cv2 import torch import numpy as np # 假设 net 已经是加载好权重的模型 # image: 读入的 BGR 图像，shape=(H, W, 3) def infer_one_image(net, image, score_thr=0.3): h, w = image.shape[:2] # 常见做法：按短边缩放，长边封顶 scale = 1333 / min(h, w) if int(h * scale) > 800 and int(w * scale) > 800: scale = min(800 / h, 800 / w) new_h, new_w = int(h * scale), int(w * scale) img_resized = cv2.resize(image, (new_w, new_h)) # 转 tensor、归一化，注意这里按模型训练时的均值方差来 img_tensor = torch.from_numpy(img_resized).permute(2, 0, 1).float() img_tensor = (img_tensor / 255.0 - torch.tensor([0.485, 0.456, 0.406])) / torch.tensor([0.229, 0.224, 0.225]) img_tensor = img_tensor.unsqueeze(0).cuda() with torch.no_grad(): result = net(return_loss=False, img=[img_single], img_metas=[meta]) # result 结构通常是 lists: [bboxes, masks]，后面按常规逻辑解析 return result

实际跑的时候，我建议先用一张素材反复检验数据管线，确认resize比例、归一化方式和元信息里的尺度字段没有对不上，这是很多人第一个翻车点。元信息里的scale_factor如果没同步更新，最后画框的位置全都会偏移。

2.3 第一轮跑完，应该看什么

很多人拿到模型第一件事就是把置信度阈值调高，看到满屏框觉得“效果不错”，其实这是自欺欺人。我第一轮跑的时候，直接把score_thr调成0.05，让所有候选框都显示出来，然后放大看模型的“真实能力”。

这一步非常有用。你会发现即使阈值低到0.05，模型对很多小目标根本不产生候选框，这说明问题是“没召回”，不是“误检”。只有搞清楚漏检分布，后面的调参才有方向。建议在第一次跑完后记录三件事：可检出目标的数量、误检集中在哪类目标、以及目标尺度都集中在什么范围。

3. 无人机场景的推理参数调优

3.1 置信度阈值：密集场景下的取舍

第一轮摸底之后，进入参数调整阶段。置信度阈值是最直观的旋钮，但在无人机场景里它非常敏感。平视场景中person类别置信度可能普遍在0.8以上，俯视场景里小行人的置信度往往只有0.3到0.5，如果按默认0.3去打，大量小行人直接没了；但如果调低到0.1，误检又会大量增加。

我用的是动态策略：低空低速、目标尺度偏大时用0.4或0.5的阈值，追求精准；高空快速巡航时，把阈值降到0.2甚至0.15，宁可多一些误检交给后续跟踪算法去过滤，也不让目标直接消失。帧与帧之间目标位置有连续性，跟踪算法对误检的处理能力，比对漏检的处理能力强得多。

3.2 NMS参数与类别合并策略

Mask R-CNN每个类别是独立走NMS的，这在常规场景没问题，但在航拍里有个真实痛点：一辆大型厢式货车，模型同时给出car和truck两个类别的高置信度框，虽然被类别隔离，但视觉上这是一个目标，对计数和融合很不利。

我的处理方式是在后处理阶段先做类别合并，把car、truck、bus统一映射成vehicle，再做跨类别的加权NMS。合并之后，一个大目标只会保留一条框和一张掩码，密集路口的车辆总数统计更干净。行人类别保持独立，不参与合并。

代码层面，合并逻辑不复杂，在获取检测结果后先替换类别标签，然后按最大IoU阈值做跨类别抑制。注意车主和行人密集区域，IoU阈值不要设太高，我一般用0.5，低于这个会把两个真正相邻的目标误杀。

3.3 输入尺寸、多尺度测试与锚框的关系

输入尺寸和锚框设计是很多人忽略、但对航拍影响巨大的参数。模型训练时锚框基准是COCO平视图像的中大目标，在无人机俯视下，小目标比例大幅上升，如果不做任何处理，全部小目标都落在小锚框范围之外，模型再强也召不回。

我试过两条路线：第一条是整图缩放，把短边从默认的800提升到1280，图像信息保真度高了，但显存占用升得很快，推理速度明显下降；第二条是切片推理，把大图切成有重叠的patch分别送进网络，再合并结果。切片方案在超高分辨率航拍图里更实用，代价是逻辑复杂一些。

多尺度测试也是提升小目标召回的有效手段。同一张图缩放到0.8、1.0、1.25三个尺度分别推理，把结果合并。实测下来小目标召回能提升约6到8个点，但推理时间也变成原来的3倍。无人机航拍素材量大，视频序列非常长，我现在的做法是单帧不加TTA保速度，在关键帧和高价值图位上采用多尺度测试，把资源花在刀刃上。

提醒：如果你决定切片推理，patch的重叠区域至少留10%，否则拼接处连续目标会被切断，导致漏检或重复输出。重叠区域里的重复检测建议做二次NMS合并。

3.4 微调时的数据增强清单

参数调到一定程度后，想再进一步就得微调模型，而不是继续改推理参数。微调阶段我用的增强组合和常规COCO训练不完全一样：随机亮度、随机对比度、随机水平翻转必须开，随机垂直翻转看情况开，因为俯视图像存在旋转对称性，但城市街道的朝向仍有方向性，全翻转可能过头。

随机裁剪要非常克制。航拍素材里目标密集，随机裁剪很容易把某个目标切成不完整形状，反而教会模型识别“半辆车”。我更倾向于用尺度抖动（scale jitter），把图像缩放在0.8到1.25之间随机变化，模拟不同飞行高度带来的目标尺度差异，这个增强对航拍场景效果非常显著。

4. 建立航拍评测集，用失效案例驱动迭代

4.1 评测集按“高度、光照、密度”分组

调参和微调都不能靠单张图感觉。我建了一个航拍评测集，尺寸不大，但讲究“分层”。第一层按飞行高度分为低空（目标尺度大）、中空（常规）、高空（小目标为主）三组；第二层按光照分为正午强光、早晚侧光、阴天三种；第三层按目标密度分为稀疏街道、普通干道、拥堵路口。

这三组交叉后至少覆盖9到12种场景组合，每类至少选二三十张代表性图像。评估指标上，除了mAP，我重点看两个：Recall@0.5，也就是IoU阈值0.5下的召回率，反映“该捡的是否捡起来了”；F1 Score，反映漏检和误检的平衡。无人机航拍场景中，mAP容易出现“全类别平均好看、单个类别很差”的假象，分组看类别独立的recall才靠谱。

4.2 我遇到的三个典型“翻车”场景

第一类是树荫下的行人。城市道路两侧树冠投影很重，行人几乎一半身体被阴影吞没。模型在明亮的背景上能检出，但同样的行人一旦落入阴影区域，置信度直接从0.6掉到0.2以下，边框也跟着抖动。这本质上是训练数据里“阴影行人”样本太少。

第二类是白色车与浅色路面“撞色”。白色车身、浅灰色路面在航拍图里灰度接近，边缘对比度极低，模型的定位分支容易把框往外扩一大圈，置信度倒是没掉，但框和掩码都不贴边。这类情况单靠提高NMS、调整阈值解决不了，必须从特征层面补数据。

第三类是高密度路口车辆相互重叠。拥堵路口，相邻车辆间距只有几个像素，模型容易把两辆车框成一个。切片方案会放大这个问题，因为切图边缘更容易出现半截车身。遇到这种画面，我会在后处理里增加一层掩码交并比检测：如果两个框的IoU超过0.7，同时对应掩码的并集区域形状接近长方形，就认为是重叠车辆互压，需要重新分配。

4.3 针对失效案例的三条可行路径

路径一：对训练数据做定向增广。针对阴影场景，我用随机亮度扰动+局部阴影合成模拟树木遮挡；针对“撞色”车辆，用轻微高斯噪声和灰度抖动提高模型对弱边缘目标的敏感度。路径二：类别不均衡重采样。无人机场景里车辆数量远大于行人，训练时默认按原分布梯度更新，行人贡献被稀释，我就给行人样本提高采样权重，让每个epoch里行人和车辆样本比例接近1:1.

路径三：迁移学习里的分阶段解冻。我先冻结backbone只训练检测头，跑几千个迭代，让模型先适应“俯视下的框/掩码形状”；然后解冻HRNet的高分辨率分支，用较小的学习率微调。这样比直接全量微调稳定很多，更容易在测试集上保住之前COCO预训练学到的通用特征。

5. 部署现实：边缘算力、帧率与连续跟踪的取舍

5.1 算一笔帧率账

训练阶段跑得动模型，不代表部署端能用。一张8GB显存的显卡跑推理时，短边800输入大约3到5帧每秒，看着还行，但无人机航拍要求至少15帧每秒才有工程价值，如果还要连续分析一个小时的视频素材，这个速度完全不够。

问题很大程度出在掩码分支上。检测分支只需输出框坐标，掩码分支需要逐像素预测，解码阶段还涉及大小不等的mask上采样，计算量比框预测高了近两倍。在航拍任务里，如果只关心车辆/行人的位置和数量，可以只在需要精细轮廓的关键帧上启用完整Mask R-CNN，普通帧用只保留检测分支的简化版本。这种双模式方案，实测帧率从4帧提到了10帧以上，轮廓信息没有完全丢失。

5.2 轻量化手段：量化与裁剪的现实代价

把模型部署到边缘计算设备上，绕不开INT8量化。这个模型组合量化后模型体积缩小到原来的四分之一左右，推理延迟明显下降，但代价也很直接：小目标的召回率普遍再掉5个点左右，尤其是行人这种本身就缺纹理的目标，量化之后特征图噪声变大，检测难度陡增。

我实际使用中采用的折中方案是：检测分支全精度，掩码分支做INT8量化，因为掩码分支输出的轮廓精度在量化后依然可接受。还把HRNet的宽度从2x降到1x，单独跑了一版精简权重，精度掉了不到2个点，但延迟降了40%。如果你的边缘设备算力吃紧，这条路可以优先考虑。

5.3 从单帧检测到连续跟踪的衔接

无人机视频本质是连续帧序列，单帧检测只能解决“图像里有什么”，解决不了“这个目标去哪了”。我在模拟项目X里做了两层跟踪结构：第一层用检测框做IoU轨迹关联，帧间IoU超过0.3就认为是同一目标；第二层用Mask分支输出的外观特征作为补充，当IoU关联失败（比如目标被短暂遮挡）时，靠外观相似度找回同一目标。

这个方案比直接在检测结果上跑卡尔曼滤波要稳一些，因为掩码带来的外观特征能减少遮挡导致的ID切换。代价是每个目标要额外存一个特征向量，内存占用增加不多，但工程实现复杂度上升明显。如果是刚开始做，我建议先只做简单的IoU跟踪，把单帧检测的精度提上去之后再考虑加特征关联，否则两级系统的错误会互相传导，排查起来很痛苦。

说到最后，分享一点个人体会：mask-rcnn_hrnetv2p-w18-2x_coco这个配置，不是一个开箱即用的无人机检测方案，而是一个“底子很好但需要认真调教”的起点。在COCO预训练模型之上做无人机视角迁移，最核心的不是追求更大的模型、更高的理论精度，而是先把评测集建好、把阈值和NMS策略研究透、把失效案例一个一个闭环掉。这一步一旦打通，后续无论是换更强的骨干、加新的类别、还是部署到嵌入式设备，都会顺畅很多。我踩过的这些坑，如果你能绕开，应该能比我的进度快不少。