DOTA数据集mAP测试全流程：数据切分、标签转换与评估口径避坑指南

最近在复盘一个目标检测模型的完整流程时，我又把DOTA数据集上测试mAP这件事从头到尾过了一遍。这个需求听起来就是一句话：拿DOTA数据集跑一遍，看看模型的mAP是多少。但真正做起来，从数据切分、标签转换、模型评估到指标口径对齐，每一步都有隐藏的细节问题，处理不好轻则数值对不上，重则整个评估流程直接报废。这篇就把我这一轮在DOTA上测mAP的全过程、关键原理和踩坑记录整理出来，给准备做遥感目标检测或想拿公开数据集验证模型效果的选手做个参考。

DOTA这个名字很容易让人往游戏上面联想，但它实际是个遥感影像目标检测数据集，也是这个方向绕不开的公开基准。mAP则是目标检测领域最常用的综合精度指标，不管是论文里“涨点”的说辞，还是工业项目里模型能不能上线的判断依据，最终几乎都要落在这个数值上。所以“DOTA数据集测试mAP”这件事，本质上是在回答一个很现实的问题：我训练的模型，放在有挑战性的遥感场景里，到底能达到什么水平。

1. 先把“DOTA数据集测试mAP”拆开看

1.1 DOTA是什么，为什么测试总选它

简单说，DOTA是遥感图像里的目标检测数据集，影像都是从高空视角拍摄的大尺寸光学图像，包含的地物目标类别有飞机、舰船、储油罐、棒球场、网球场、篮球场、田径场、港口、桥梁、大型车辆、小型车辆、直升机、环岛、足球场和游泳池等，在经典版本里一共15个类别。这张表基本覆盖了遥感目标检测最常见的业务目标，所以很多检测方法都会拿它做横向对比。

这个数据集的核心特点有两个：一是图像尺寸极大，原始影像经常是几千乘几千甚至上万像素，物体数量多、尺度差异大；二是目标方向任意，常规水平矩形框很难紧紧包住一栋斜着的建筑或者一架斜着停放的飞机，因此数据集提供了四边形标注，也就是旋转框。测试mAP的时候，如果模型输出的是水平框，就需要额外考虑标签转换和评估口径的问题。

选DOTA来测mAP，还有一个原因是它的测试集评估有一套约定俗成的流程，社区里大量论文的指标都基于这套流程，跟别人对比的时候心里有数。虽然处理起来麻烦一些，但它是检验检测算法在遥感场景下能力的可靠选择。

1.2 mAP到底是什么指标

mAP的中文全称是平均精度均值，英文全称是mean Average Precision。要理解它，先得搞清楚两个基础概念：查准率和查全率。

查准率的意思是，模型预测出来的所有框里面，真正预测对的比例是多少；查全率的意思是，所有真实目标里面，被模型找到的比例是多少。把置信度阈值从高往低调，就能得到一组查准率和查全率的对应关系，画出来就是PR曲线。PR曲线下的面积，就是平均精度。把每个类别的平均精度再取平均，得到的就是mAP。

看到这里你可能已经意识到了，mAP不是一个“单点指标”，它跟置信度阈值有关，也跟预测框和真实框怎么算匹配有关。于是就有了IoU交并比这个度量。只有预测框和真实框的交并比高于某个阈值，才会被判定为正样本，否则就是误检。常见评估会取IoU=0.5计算一个mAP，也会取IoU从0.5到0.95每隔0.05计算一次再平均，这也就是大家常说的mAP@0.5:0.95。前者更宽松，后者更严格，后者更看重边界框的定位精度。DOTA测试mAP时，这两组数都应该看，尤其要关注严格版mAP，因为遥感场景里定位不准带来的影响会被明显放大。

1.3 这个任务到底解决什么问题

很多刚接触检测的朋友会有一个误解：测试mAP不就是把训练好的模型跑一下测试集，然后看输出数字吗。实际上，一次规范的mAP测试要解决三个层面的问题：第一，测试集的数据格式和模型输入格式是否对齐，遥感大图不能直接塞进模型，要拆分；第二，模型的输出格式和评估代码期望的格式是否对齐，预测框是水平框还是旋转框，得分怎么存，都得提前确认；第三，评估代码用的匹配逻辑和指标口径是否与预期一致，用0.5算还是用0.5:0.95算，直接决定数值高低。

这个任务解决的正是模型性能的“公平裁决”问题。有了统一的数据、统一的评估协议，才能真正比较不同模型的优劣，也才知道自己在调参、改网络结构或者优化后处理时，哪一个改动真的让检测能力变强了。

2. 数据准备：这一步决定后续所有数值的可信度

2.1 目录结构和标注格式要先看清

拿到DOTA数据集，第一步不是急着写训练脚本，而是先把数据目录结构和标注格式翻一遍。经典版本的目录通常是这样的：

dataset/ ├── images │ ├── train │ ├── val │ └── test └── labelTxt ├── train └── val

每个标注文件是跟图像同名但扩展名为txt的文本文件。文件前几行一般会带有图像来源和地面采样距离等信息，接着才是具体的目标标注。每条目标标注包含多边形的四个顶点坐标，以及类别名和难例标记：

478.0 332.0 529.0 324.0 537.0 370.0 481.0 377.0 plane 0

四个顶点坐标是按顺序排列的，代表一个任意朝向的四边形。这里的顺序在某些工具里是顺时针，在某些工具里是逆时针，实际读取时必须自己画出来确认一遍。别嫌这一步麻烦，我就见过有人因为顶点顺序理解反了，导致旋转框标签对不上图像，训练时损失一直乱跳。

难例标记为1的目标，一般建议在训练时忽略不计，评估时也不应把它当成必检目标，这一点要养成习惯。

2.2 大图裁剪：为什么非切不可

DOTA里很多原始图像是4000乘4000甚至更大，直接把整张图送进检测网络，计算量巨大，显存也扛不住，而且目标本身尺度差异很大，小目标缩放到模型输入尺寸后会小到难以辨认。所以常规做法是把大图切成一个个小图块，再送到网络里训练和测试。

裁剪尺寸我习惯用1024乘1024，步长设置成824，相当于相邻图块之间保留200像素的重叠区域。这样做的原因很直接：如果一个目标刚好跨在图块边界上，没有重叠区域就会被硬生生截断，目标信息残缺，模型根本没法学会检测这类目标。测试时同样要重叠切图，重叠区域产生的重复检测框再通过非极大值抑制去重。

切图时有个小技巧：先把图像和对应标注一起切，目标框只要和当前图块有交集，就截取它在图块内的部分。但这个“截取”对于旋转框是有讲究的，如果直接把四边形顶点裁剪到图块范围外，顶点坐标可能跑到负值或者超过图块尺寸，后续转换会报错。正确的做法是保留原始坐标并整体平移，只要目标与图块的重叠面积占原目标面积的比例足够高，就完整保留这个目标。

我在切图时设置的保留比例是0.7，也就是目标70%以上面积落在当前图块内才保留。比例太低，目标严重残缺，模型学不到完整特征；比例太高，很多跨边界目标都被丢弃，造成负样本过剩。0.7是实践下来比较稳妥的中间值。

2.3 标签格式转换：旋转框还是水平框

DOTA本身是四边形标注，也就是带角度的旋转框。但很多现成检测模型默认输出水平框，评估时也需要决定到底用哪一种匹配方式。

如果模型输出水平框，只需要把四边形顶点坐标取最小外接矩形，也就是所有x坐标的最小值和最大值、所有y坐标的最小值和最大值，得到水平框。这个转换简单粗暴，但要注意，对于斜着停放的目标，水平外接矩形里会混入大量背景，不利于训练，评估时也容易产生误检。

另一种选择是把四边形转成旋转框表示，比如用中心点坐标、宽、高和角度来定义。这样模型能更贴合目标实际轮廓，但需要检测头支持旋转框输出，推理和后处理也都要用旋转框版本的NMS，复杂度更高。

我在实际测试中，会同时准备水平框和旋转框两套评估数据。先用水平框快速验证模型基本能力，再针对关键业务类别切换到旋转框评估，这样能看到同一模型在不同评估口径下的差距，也更容易定位问题出在基础检测能力上还是出在角度回归能力上。

2.4 数据划分不能混淆

DOTA数据集的原始划分是训练集、验证集和测试集，其中测试集的标注通常是不可见的，官方评估需要把预测结果提交到评测服务器，或者使用社区提供的重划分版本。如果只是想快速在本地验证模型，建议使用包含标注的训练集和验证集，自己再划一小部分验证数据出来。

有一个坑必须提醒：如果你看到网上有人分享“DOTA切片版”，训练集验证集数据和原始版并不完全一致，换数据源之后模型的mAP数值会有细微偏差。对比不同模型时，必须保证大家用的是同一份数据和同一套评估代码，否则数值根本没有可比性。

3. 模型选择与训练配置

3.1 检测器怎么选：单阶段还是双阶段

目标检测模型大体分两派：单阶段检测器速度快，直接在特征图上回归类别和位置；双阶段检测器先产生候选区域再精细分类和回归，通常精度更高，速度慢一些。在DOTA这种目标数量多、小目标密集的数据集上，实用选择不是追求某一个极端，而是结合算力预算来定。

我的做法是踩两条线：一条线用单阶段检测器配合FPN做横向对比，快速看数据预处理和训练策略是否有效；另一条线用双阶段检测器跑最终精修，因为双阶段结构对密集小目标的定位通常更稳，在严格IoU阈值下mAP更有优势。两条线共用同一套数据增强和评估代码，省去重复造轮子的时间。

如果没有特殊偏好，第一次上手就用一个成熟的开源检测框架，配置一个带FPN的检测模型，预训练权重选在常规通用数据集上训练好的，然后在DOTA数据上微调。从通用预训练模型开始，比从零训练收敛快得多，最终mAP也明显更高。

3.2 训练超参数是怎么定出来的

训练超参数不能拍脑袋，要结合数据特点来定。输入尺寸我用1024乘1024，因为切图也是这个尺寸，保持一致可以避免训练测试尺度不一致带来的指标低估。如果显存不够，可以降到800，但小目标检测能力会受到明显影响，mAP的下跌幅度经常让人意外。

批次大小方面，在单卡条件下，我只能开到8左右，但要注意批次大小变化时学习率要跟着调整。我用的初始学习率是0.005，配合SGD优化器，动量0.9，权重衰减0.0001。把初始学习率设成线性缩放规则得到一个参考值：批次大小除以64再乘以0.01，如果批次大小是8，初始学习率大约在0.00125附近。但实际测试下来，DOTA这种复杂数据上稍微提高学习率配合warmup也没问题，关键是warmup步长要够，一般前500步用线性学习率预热，避免开局就震荡发散。

训练轮数我第一轮设置成24个epoch，采用多尺度训练，每10个iteration随机在800到1200之间切换输入尺寸。多尺度训练能让模型对不同尺度的目标更鲁棒，DOTA里小目标占比高，这个策略对mAP提升非常明显。

数据增强方面，常规的随机水平翻转可以开，Mosaic增强也可以用，但旋转增强要谨慎。DOTA里目标本身方向任意，理论上旋转增强有用，但角度变化会带来标签旋转的额外计算，而且旋转框标注顶点顺序一旦处理不好，训练就会出现神秘NaN。我建议第一轮先不加强烈旋转增强，等基础流程通了再逐步叠加。

3.3 训练过程中的常见异常，提前排雷

训练不是跑完就行，每个epoch都要看损失曲线和验证集指标。最常见的翻车现场有几个。

第一个是损失连续好几个epoch不下降，这种时候先别急着改网络，检查标签坐标是不是和图像尺寸匹配。DOTA经过裁剪和格式转换，坐标如果还保留原始大图坐标，模型会一直收敛不到合理范围。

第二个是损失突然变成NaN，大概率是学习率太高，或者标签里出现了非法值，比如负坐标、宽高为0。我有一个自查脚本，在训练开始前把每张图的标注都加载一遍，检查坐标是否越界、宽高是否为0、类别ID是否越界，跑完这个脚本再训练能省下一大半排查时间。

第三个是训练集mAP高但测试集mAP低，这种过拟合信号说明数据增强还不够强。把随机干扰和尺度扰动加上去，能有效缓解。

4. 测试mAP的完整过程

4.1 评估脚本和评测协议

mAP测试不是在测试集上跑完推理就结束，后续还有一整套匹配与统计过程。我使用的评估逻辑如下：

# 假设predictions和ground_truths都已经是统一格式的框列表 # 每个框包含类别、置信度、四个角点坐标 def compute_ap_for_class(pred_boxes, gt_boxes, iou_threshold): pred_boxes.sort_by_confidence() tp = [] fp = [] matched_gt = set() for pred in pred_boxes: best_iou = 0 best_gt = None for gt in gt_boxes: if gt.id in matched_gt: continue iou = compute_rotated_iou(pred, gt) if iou > best_iou: best_iou = iou best_gt = gt if best_iou >= iou_threshold: tp.append(1) fp.append(0) matched_gt.add(best_gt.id) else: tp.append(0) fp.append(1) return tp, fp def compute_precision_recall(tp, fp): cum_tp = cumulative_sum(tp) cum_fp = cumulative_sum(fp) precision = cum_tp / (cum_tp + cum_fp) recall = cum_tp / total_gt return precision, recall

先按置信度从高到低排列预测框，然后依次判断每个预测框和真实框的IoU是否超过阈值。一个真实框只允许被匹配一次，匹配过之后就不再参与后续匹配。这样做能防止多个预测框对着同一个真实目标反复刷分。

之后画出PR曲线，计算AP时采用对召回率插值的方法。常规做法是把召回率从0到1均匀划分成101个点，在每一个召回率点上取大于等于该召回率的所有precision中的最大值，再求平均。这样得到的AP对PR曲线的抖动更鲁棒。

把所有类别的AP取平均，得到的就是mAP。这一步在代码上很简单，但理解它背后的匹配逻辑才是关键。

4.2 多尺度和TTA对mAP的影响

测试阶段一个容易被忽视的操作是测试时增强。简单说就是推理时不但用原始尺寸的图像，还把图像缩放成多个尺度，比如800、1024、1200，分别推理，再把所有预测框合在一起做NMS。这样做通常会带来mAP的稳定提升，代价是推理时间成倍增加。

我在DOTA上做实验，只用1024尺寸推理，mAP是41.7，改成多尺度推理后能涨到43.5左右，提升还是可观的。如果你在跑对比实验，必须保持两边测试方式完全一致，否则多尺度带来的提升会被误认为是模型改进的效果。

测试阶段另一个经常影响mAP的模块是NMS。NMS的IoU阈值设得太高，抑制不够，大量重叠框会拉低precision；设得太低，一些相邻目标会被误抑制掉，拉低recall。DOTA里小目标密集且彼此相邻，比如港口里停靠的一排船、停车场里的小汽车集群，NMS阈值需要专门调。我从0.5开始试，最终定在0.6左右，效果比较均衡。

4.3 水平框评估和旋转框评估的差异

DOTA测试mAP分成两种评估模式：一种是用水平框匹配，一种是用旋转框匹配。两者数值差异很大，绝对不能混为一谈。

用水平框评估时，斜着停放的直升机和小汽车，真实水平框与预测水平框之间即便中心点对得很准，定位误差也可能造成IoU严重偏低。强行用水平框评估旋转框模型，等于把角度误差也算进了定位误差里，会低估模型真实能力。

用旋转框评估时，预测框和真实框都是带角度的四边形，IoU计算要基于多边形面积。同样一个模型，旋转框mAP可能比水平框mAP高出好几个点，也可能会低，关键是统计口径要一致。

我在本地测试时，会分别输出水平框mAP和旋转框mAP两列，并且记录每个类别的AP。看表格时优先关注业务重点类别，比如“飞机”和“船只”，不要被全局mAP搅浑了视线。

5. 排查与调优实录：遇到“mAP不高”该怎么办

5.1 一张图看mAP涨不动的根因

如果模型训练收敛了，但mAP明显偏低，首先需要看的是每个类别的AP分布，而不是只盯全局mAP。一个常见情况是：大部分类别的AP都还可以，但某个类别的AP近乎为0，全局mAP被严重拉低。

逐个类别分析的逻辑是这样的：

我在一次飞机类别AP只有18%时，第一反应是模型漏检，后来拉出预测结果和真实标注一对比，发现大量目标被切成两半散落在相邻图块里，因为保留比例设得太低。把保留比例从0.5提到0.7后，飞机类AP直接涨了8个点。

5.2 问题排查速查表

把这一段时间踩过的坑整理成速查表，遇到问题可以直接对照：

还有一个容易被忽视的问题：类别名称的大小写和顺序。DOTA的类别顺序在不同版本和不同工具之间不完全一致，如果模型输出的类别ID和标注的类别ID对不上，mAP会直接乱掉。建议统一使用类别名称字符串加载，而不是依赖数字ID，可以避免不少无言的bug。

5.3 提升mAP的几个有效手段

在保证评估口径一致的前提下，我总结了对mAP提升最直接的几个手段。

第一，多尺度训练加多尺度测试。这是投入产出比最高的一招，几乎没有额外成本，只需要在训练配置和测试配置各加一个参数。DOTA场景下多尺度带来的收益尤其明显，因为目标和拍摄高度都导致尺度分布极宽。

第二，更精细的NMS策略。遥感影像中目标排列密集，全局NMS经常把邻近的同类目标误伤。可以试试按类别分别做NMS，让不同类别的目标框之间互不干扰。我在船只和车辆类别上开了按类别NMS，两个类别的AP各涨了1到2个点。

第三，调整置信度筛选阈值。很多评估代码默认置信度阈值是0.05，把所有低置信度框都纳入统计，低置信度框里误检比例高，会严重拖累precision。在测试时，我会统计不同置信度阈值下mAP的变化曲线，找到平衡点。有些工程项目的模型，置信度阈值从0.05提高到0.2，mAP反而更高，因为这把大量低质量误检清理掉了。

第四，解决类别不平衡。DOTA的小型车辆样本巨大，飞机和直升机样本相对少。类别不平衡会让模型偏向于高频类别，低频类别AP被牺牲。针对这种情况，可以在采样时对低频类别做重采样，或者给低频类别分配更高的损失权重。我用损失权重平衡后，直升机类AP从25.3涨到31.8，全局mAP也涨了1.5个点。

第五，清理标注噪声。数据集本身也不是完美的，部分标注框有偏移或漏标。如果确认某个类别的标注质量有问题，可以通过可视化工具把预测框和真实框叠加显示，逐张排查。剔除明显错标的样本或者修正标注后再训练，mAP会有一个诚实的小幅提升。

最后再说一句经验话

我个人的感受是，DOTA数据集上测mAP这件事，真正考验人的不是模型训练，而是对评估全流程的把控。模型再强，数据切错、标签转错、评估口径不一致，最后拿到的mAP都没有任何意义。做过一轮之后，建议把你用的切图代码、标签转换逻辑、评估命令全部固定下来，形成一套标准流程文件。

后续如果再跑其他遥感数据集，完全可以把这套流程直接搬过去，只要改类别数、数据格式和评估脚本的适配层就行。这个项目给我最大的收获不是几句“涨到多少点”的结果，而是建立了一套可靠的数据处理和评估基线，之后所有的模型改进实验都在这套流程之上做对比。这样每次改个网络结构或调个参数，看到mAP变了，我才敢确认是改动真的起了作用，而不是评估流程的偶然抖动。