Drone-YOLO实战：无人机小目标检测从训练到部署全流程

简介：面向无人机视觉研究与开发者的Drone-YOLO算法代码工程，基于YOLOv8对颈部组件进行改进：引入三层PAFPN结构与夹层融合模块，并用RepVGG模块作下采样层，以提升小目标特征融合能力，应对航拍图像中目标小、分布密、画幅大的检测难题。资源为zip压缩包，共3个文件、约7KB，含一个inscode工程入口、一个HTML说明页和一个Git忽略配置，虽精简但保留了项目骨架，方便查看算法结构。已有130人学习，该实现在VisDrone2019数据集上优于多种基线，mAP0.5提升显著，多尺度特征融合与下采样重建使模型更能适应不同飞行高度，减少小目标漏检。同时算法兼顾普通台式与嵌入式硬件环境，适合扩展至环境监测、交通监控、农业巡检等实时无人机检测场景；对相关研究者与开发者，可直接作为项目改造与论文复现基础，也便于在边缘设备上进行部署测试。

1. Drone-YOLO无人机目标检测：[代码]标题背后，到底在解决什么问题

把 YOLO 从通用目标检测搬到无人机视角，最大的痛点不是模型不收敛，而是俯拍图像里目标太小、太密、太容易被背景吞掉。地面视角一辆车占画面三分之一，放在 300 米高度可能只有十几个像素，常规 YOLO 的检测头根本吃不住这种尺度分布。Drone-YOLO 这个方向，本质就是围绕「小目标、密集目标、资源受限设备」这三点去改模型——加小目标检测层、换特征融合结构、在保证速度的前提下提召回。对安防巡检、交通流量统计、智慧城市这类落地场景来说，这套思路几乎是一套可以直接复用的工程框架。这篇笔记会从代码跑通、数据集准备、训练调参、踩坑到部署验证，把整条链路讲完整，新手能照着做，熟手可以参考参数边界。

2. 把代码跑起来：环境准备与最小推理命令

2.1 先分清代码仓库是哪一层改进：模型结构、训练流程还是部署代码

拿到标题为 Drone-YOLO 的代码包，第一步不是急着装环境，而是看清仓库属于哪一类。常见做法是把改进点集中在 YOLO 的 backbone、neck 或 head 上，这类代码通常直接基于某个公开检测框架改配置文件，训练和推理入口跟原版几乎一致，跑通的成本最低。也有代码只提供模型定义和权重，训练流程要自己拼；还有一类提供了完整的训练脚本和数据处理链路，属于拿来就能用的完整体。

我一般会先看三处：model或models目录里有没有自定义的 C2f、SPPF 或检测头结构；configs或cfg里有没有专门的训练配置；README 里写的基准测试数据集和 mAP 数值。这三处看明白，就能判断该用原版训练入口还是仓库自带脚本。多数 Drone-YOLO 变体是前者，也就是可以直接复用 YOLO 生态的训练和推理命令，只是权重文件和模型配置文件是替换过的。

2.2 创建虚拟环境与安装依赖

无论代码基于哪个版本，先把环境隔离清楚。Python 版本建议 3.8 到 3.10 之间，太新容易遇到 CUDA 算子编译不兼容的问题。

conda create -n drone-yolo python=3.10 -y conda activate drone-yolo pip install -U pip # 如果代码仓库带了 requirements.txt，直接装；否则装以下核心库 pip install torch==2.0.1 torchvision==0.15.2 --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics opencv-python==4.8.0.74 tqdm pyyaml

这里把 PyTorch 固定到 2.0.1 而不是直接装最新版，是为了避免新版本 torch 引入算子变化，导致仓库里的自定义模块编译报错。CUDA 11.8 的 wheel 依赖 NVIDIA 驱动版本大于 450.80，显存小于 8G 的显卡建议先把batch size调小，后面训练章节会讲怎么设。

装完依赖后，先跑一段假推理验证环境。如果代码库里有预训练权重，直接下载；如果没有，就用原版 YOLO 的权重先验证推理链路通畅，再把 Drone-YOLO 的权重替换进来。

2.3 下载权重与单张图片推理的最小命令

代码包里的weights/目录通常会有best.pt或drone-yolo.pt，如果没附带，就去仓库 Release 页面看有没有发布权重，没有的话只能自己训。拿到权重后跑单张推理：

# 用仓库提供的检测脚本，或者直接走框架自带的 API python detect.py --weights weights/best.pt --source data/test/images/000001.jpg --imgsz 640 --conf 0.25

推理脚本一般就是加载权重、读图、前向传播、后处理、画框这五步。--imgsz 640是输入分辨率，不是图像原始尺寸，模型会把任意尺寸的图先缩放到 640。对无人机视角来说，这里有个反直觉的点：分辨率越高小目标越好检，但推理速度成平方下降。我在第一次跑通时习惯直接用 640，确认流程没问题之后，再按场景需求往上调。

跑完会在runs/detect/下生成带检测框的输出图。打开看两件事：一是目标有没有检出，二是框的置信度普遍在什么区间。如果检测结果几乎为空，先别怀疑权重，先确认图像缩放逻辑——有的仓库会直接拉伸图像而不是等比缩放，无人机图像一般是高空俯拍，拉伸会让目标变形，检测器直接失效。

3. 无人机数据集：从标注格式到训练集划分的完整准备

3.1 无人机数据集与通用目标检测数据集的三点差异

无人机视角的目标检测训练，数据分布和地面拍摄差异极大。第一是目标尺度分布严重偏小，公开的无人机航拍数据集中，小于 32×32 像素的目标能占到六成以上，而通用数据集里中小目标占比不到三成。第二是拍摄角度以俯拍为主，目标姿态固定，模型学到的特征跟侧视差异很大。第三是背景复杂，城市鸟瞰图里有大量纹理、阴影、车辆遮挡，前景和背景的边界模糊。

这三点的直接后果是：把在通用数据上预训练的权重直接拿来做无人机检测，mAP 通常惨不忍睹。所以准备数据阶段就要围绕"小目标不丢、同类目标不混淆"来组织。最好先做一次类别分布和尺寸分布统计，再决定是直接训练还是先做数据增强策略调整。统计脚本不难写，遍历标注文件，计算每个目标的宽高比和像素面积，画一张散点图，就能看出自己的数据集中在哪个尺度。

3.2 把 Pascal VOC 格式转成 YOLO 训练格式

很多开源的无人机数据集（不管叫 Drone 什么的）标注是 VOC 风格的 XML，而 YOLO 训练需要每张图对应一个.txt，每行是class cx cy w h，坐标全部归一化。转换脚本是绕不开的第一步。

import xml.etree.ElementTree as ET import os # 类别按自己数据集的标注顺序排列，顺序决定 class id，别改 CLASSES = ["car", "truck", "bus", "person"] def convert_voc_to_yolo(xml_path, out_dir, img_w, img_h): tree = ET.parse(xml_path) root = tree.getroot() lines = [] for obj in root.iter("object"): cls = obj.find("name").text if cls not in CLASSES: continue # 跳过标注为 difficult 的目标，这类目标通常被遮挡严重 difficult = obj.find("difficult") if difficult is not None and difficult.text == "1": continue box = obj.find("bndbox") x1 = float(box.find("xmin").text) y1 = float(box.find("ymin").text) x2 = float(box.find("xmax").text) y2 = float(box.find("ymax").text) cx = (x1 + x2) / 2 / img_w cy = (y1 + y2) / 2 / img_h w = (x2 - x1) / img_w h = (y2 - y1) / img_h lines.append(f"{CLASSES.index(cls)} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}") out_path = os.path.join(out_dir, os.path.splitext(os.path.basename(xml_path))[0] + ".txt") with open(out_path, "w") as f: f.write("\n".join(lines)) # 遍历所有 XML 时注意：xml 文件名要和图像文件名一致 # img_w / img_h 可直接解析 XML 里的 size 节点，不要用图像真实尺寸硬编码

转换脚本里最容易被忽略的是difficult标记和类别顺序。无人机数据集里大量目标被遮挡或太小，原始标注会打difficult，这类目标直接参与训练会成为噪声，建议按上面的逻辑过滤掉。类别顺序则必须和训练配置里的names一一对应，顺序错一个就是灾难，检测出来的框全对不上标签。

还有一个坑：VOC 里的size节点写的是图像原始宽高，但无人机图像通常带有 EXIF 旋转信息，用 OpenCV 读取时图像已经被自动旋转，宽高和size节点对不上。转换前先用脚本批量核对一遍图像实际尺寸和 XML 记录是否一致，不一致的单独处理。

3.3 按场景分训练集和验证集：避免同场景数据泄漏

无人机航拍数据很多时候来自连续视频抽帧，同一段飞行路径的前后帧背景高度相似。如果直接随机划分训练集和验证集，验证集会混入大量跟训练帧几乎一样的图像，指标虚高得很厉害，模型真正换个场景就现原形。

正确做法是按视频片段或飞行架次分组划分。假设数据是按flight_001_frame_0100.jpg这种方式命名的，提取文件名里的架次编号作为分组维度，把整个架次的帧全部分到同一侧。

# 按架次分组划分：先把文件名列表按前缀分组，再跨组随机分配 python split_by_scene.py \ --image_dir data/images \ --label_dir data/labels \ --scene_prefix "flight_" \ --val_ratio 0.2 \ --seed 42

这个脚本的要点是scene_prefix要能精确切出场景标识。有的数据集命名是20240101_city_a_00001.jpg，前缀得切到_city_a_这一层才算按场景分组。另外建议把--seed固定下来，否则每次划分结果不同，实验之间没法对比。

划分完成后，检查一下每类的目标数量在训练集和验证集的比例是不是接近 8:2。如果某个稀有类别在验证集里几乎没出现，后续 mAP 会严重失真，需要手动把那几个包含稀有类别的样本挪到验证集。

4. 训练与调参：让 Drone-YOLO 在自采数据上真正起效

4.1 用现成 COCO 预训练权重做迁移学习，而不是从头训

手头没有足够大的无人机数据集，最好的起点是拿在 COCO 上预训练过的权重做初始化。COCO 里包含 person、car、bus 等类别，虽然拍摄视角不同，但底层特征——边缘、纹理、颜色——是通用的。让模型先学会"看"，再在无人机数据上微调，收敛速度比从零初始化快得多，最终精度也更高。

具体做法是在训练配置里指定预训练权重路径，并冻结 backbone 的前几层。backbone 底层学到的是通用视觉特征，冻结它们可以防止小数据集上把这些特征破坏掉，只训练高层语义特征和检测头。一般冻结前 10 层左右，或者按照仓库里freeze参数的建议值。如果是自建的小数据集（几千张），这个方法尤其重要，能直接避免过拟合到训练集背景纹理上。

4.2 训练参数清单和第一次跑训的建议值

第一次跑训练不要一上来就上大分辨率大 batch，先用一组稳妥的参数把基线跑出来，再逐步调。下面这组参数是我在无人机目标检测上比较常用的起点。

训练命令在框架里一般是：

python train.py \ --data data/drone.yaml \ --weights yolov8s.pt \ --img 640 \ --batch 16 \ --epochs 100 \ --optimizer SGD \ --lr0 0.01 \ --mosaic 1.0 \ --close_mosaic 10 \ --freeze 10 \ --project runs/train \ --name drone_baseline

这里面data/drone.yaml是关键，内容基本是数据集路径和类别名：

path: . train: data/train.txt val: data/val.txt nc: 4 names: ["car", "truck", "bus", "person"]

注意path是相对于当前工作目录的，train和val指向包含所有图像路径的 txt 文件，不是标注目录。很多人在这个文件上翻车，路径写错直接报Dataset not found。

训练启动后不要干等，先监控前 20 轮的 loss 曲线。正常情况下box_loss和cls_loss应该平稳下降，obj_loss有所波动是正常的。如果 loss 在前 10 轮内快速下降后突然反弹，通常是lr0太大或者mosaic把小目标截没了。此时稳定下来 Ctrl+C 改参数重来，不要硬跑完 100 轮再回头看。

4.3 观察训练日志：怎么判断是小目标问题还是过拟合问题

训练日志里主要有三组指标：box_loss、cls_loss、obj_loss和验证集上的mAP50、mAP50-95。无人机场景下重点看mAP50和mAP50-95的差值。如果 mAP50 有 80 而 mAP50-95 只有 30 多，说明检测框位置基本准，但 IoU 卡得严一点就掉分，常见原因是大目标框偏大、小目标框抖动，本质是回归精度不够。

如果 mAP 在验证集上停滞在 50 左右不再上升，而训练集 loss 还在持续下降，基本可以判断是过拟合加上小目标特征没学好。这时优先降低模型复杂度，把yolov8s换成yolov8n，或者增强数据多样性而不是继续堆轮数。

训练完成看results.csv最后几行，如果验证集mAP50在最后 10 轮内不再上升，直接用倒数第 10 轮的权重做推理测试。best.pt是按验证集 mAP50 保存的，但最后 10 轮关闭 mosaic 之后模型往往更稳定，有时最后几轮的权重要比best.pt好用。

5. 避坑指南：无人机目标检测最容易翻车的 5 个细节

5.1 小目标漏检严重，mAP 卡在 20% 不涨

现象：模型只检到大目标，小目标几乎全丢，训练了五六十轮 mAP 一直在 20% 上下震荡。

原因：输入分辨率太低，或者模型结构里没有针对小目标的检测层。640 分辨率下，一个 20×20 像素的行人下采样到 P5 层只剩 2×2 左右的特征，检测头基本看不见它。

解决：把imgsz从 640 提到 896 或 1280，同时确认模型是否带 P2 小目标检测层（即 stride 为 8 那层）。显存不够就降 batch 或开梯度累积。实际经验是 1280 能让小目标 recall 提升 15 个点以上，代价是推理速度慢一倍还多，部署时要权衡。

5.2 Mosaic 增强把小目标切成碎片，模型学了几个月"半辆车"

现象：训练 loss 正常下降，但验证集上小目标频繁漏检，且漏检目标有个规律——都缺了一角。

原因：Mosaic 把四张图拼接后裁剪，大目标可能被完整保留，小目标经常被切掉一半，模型把"半辆车"学进去了。无人机图像里小目标本身只有十几个像素，再一切就没了。

解决：把mosaic降到 0.5，或者干脆关掉改用copy_paste增强，让目标以完整形状出现。如果确实想保留 mosaic 带来的背景多样性，把close_mosaic从 10 增大到 20，确保最后阶段模型完全在真实分布上微调。

5.3 验证集指标虚高，换个场景立刻崩

现象：验证集 mAP50 到了 85，兴高采烈去新场景测，掉到 40。

原因：训练验证划分按图像随机切分，同一段航拍视频的连续帧被同时分到两边。模型实际是在"背"背景，而不是在学目标，换个完全没见过的环境就现形。

解决：按 3.3 节的按场景划分重做数据分割，把同一条航线的所有帧归到同一边。这个坑最隐蔽，因为指标曲线完全正常，只有拿到真实新场景测试才会暴露。

5.4 类别不均衡：车检出了 5000 辆，行人一个没看见

现象：车辆检测得很好，行人类别 recall 奇低。

原因：无人机数据集里车辆数量可能比行人大一个数量级，模型训练时梯度被大类淹没。

解决：先统计各类别目标数，对频次低的类别做过采样，让参与训练的各类目标数量处于同一数量级。不要轻易用类别权重，有的框架实现会把 loss 放大到不稳定。另外，如果只关心行人和车辆，干脆把其他类别从训练集里删掉，减少类别间混淆。

5.5 密集目标被 NMS 合并，一个框框住三辆车

现象：稠密停车场的俯拍图，三辆车并排停下，模型只输出一个框。

原因：无人机视角下目标间距小，NMS 按 IoU 抑制低分框，相邻车辆的框因 IoU 过高被误删。

解决：把 NMS 的IoU threshold从默认 0.45 调低到 0.3 左右，或者改用Class-Aware NMS，只对同类做抑制。如果框架支持，还可以尝试 Soft-NMS，对高 IoU 的框降分而不是直接删除，能在密集场景保留更多候选框。

6. 往实处走：用 OpenVINO 在边缘设备上跑推理验证

模型训完只是第一步，真实场景里的部署设备往往是嵌入式板卡或低功耗主机，GPU 不是标配。把 PyTorch 模型导出成中间表示格式再推理，是常见的工程化路径。

# 先导出成 ONNX，再转 OpenVINO IR 格式 python export.py --weights runs/train/drone_baseline/weights/best.pt --include onnx --imgsz 640 mo --input_model best.onnx --output_dir openvino_model --data_type FP16

OpenVINO 的 CPU 推理速度在无人机检测这种小模型上通常能到实时级别，具体看模型大小和输入分辨率。1280 分辨率会明显慢，部署时要考虑是否接受降一档精度换速度。导出后写一个最小推理脚本，用 OpenVINO 的 Python API 加载 IR 模型，输入输出是固定形状的 tensor，预处理要把图像缩放到 640、RGB 转 BGR 方向别搞反、归一化方式和训练时保持一致。

我个人习惯在部署前做一次全流程验证：取一段没参与训练的真实航线视频，用导出的模型逐帧跑一遍，统计每帧推理耗时和漏检数。这一步能暴露很多训练时看不到的问题——比如视频里出现训练数据没有的天气、光照条件，或运动模糊导致的目标形变。有问题就回到训练数据层面补充样本，而不是在部署端硬调阈值。

这个方向值不值得做，取决于你的场景里小目标是不是核心矛盾。如果你的无人机图像里目标普遍大于 50×50 像素，Drone-YOLO 的改动收益就不明显；反之，如果你的数据分布和典型航拍场景一样以中小目标为主，投入去对照调参是能看到检测效果实质提升的。后面我做类似项目时，每次都会把训练集的目标尺度分布打印出来，先确认问题再动手改模型，这也成了我检测类项目的固定习惯。希望这些踩坑经验帮到你。

本文还有配套的精品资源，点击获取