基于YOLOv11-ReCalibrationFPN的农田杂草检测与部署

农田杂草识别这几年确实是个热门方向，但真正能落到地里跑的方案其实没那么多。我这次做的这套系统，名字里已经把核心都写清楚了——YOLOv11-ReCalibrationFPN-P3456，简单说就是把YOLOv11的检测框架，配上自己改过的特征金字塔结构，专门解决杂草在复杂农田背景下难识别、小目标容易漏检的问题。一整条链路从数据采集、标注、训练优化到边缘设备部署都走通了。这篇文章就把我实际动手过程中的思路、参数、踩过的坑全部摊开讲，给想在这个方向做点东西的朋友一个直接能参考的范本。

1. 方案设计与选型思路

1.1 为什么用YOLOv11而不是其他检测模型

选型这件事，我刚开始也纠结过一阵子。农田杂草检测和通用物体检测不太一样，场景非常特殊：光照环境不可控、杂草和作物颜色纹理高度接近、目标尺寸差异大，而且很多杂草在幼苗期就一小簇，稍微远一点拍就占不了几个像素。这种情况下，模型的召回率比什么都重要，漏检一簇草，后期可能就蔓延一整片。

我对比过几类方案。两阶段的Faster R-CNN精度确实稳，但推理速度根本扛不住田间实时巡检的需求，一个画面跑个几百毫秒，无人机或者巡检车动起来就废了。DETR系列虽然省了后处理，但训练收敛慢、数据需求大，小数据集上容易欠拟合。单阶段检测器里，YOLO系列一直是综合性价比最好的选择。尤其YOLOv11在C3/C2f结构之后进一步优化了骨干网络，把C2f模块改得更轻量，在算力有限的边缘设备上跑起来非常舒服。而且它原生支持多尺度训练和多种数据增强，业内资料多，遇到问题也容易查。

选YOLOv11的另一个重要原因是它的anchor-free设计。传统带anchor的检测器在处理杂草这种形状极不规则的物体时，anchor尺寸很难设得准，杂草从几厘米到几十厘米都有，没法用固定框去套。anchor-free直接回归中心点和宽高，对这类非刚性目标友好得多，省去了调anchor的功夫。

1.2 P3456特征层的含义与优势

标题里的P3456指的是特征金字塔的四个输出尺度。熟悉YOLO的朋友都知道，特征金字塔是解决多尺度检测的关键。YOLOv11默认的结构输出三个尺度，P3、P4、P5，分别对应输入图像的1/8、1/16、1/32下采样特征图，小物体靠P3检测，大物体靠P5检测。

我在这个项目里把P6也加进来了。P6是继续对P5做一次下采样得到的1/64尺度的特征图，它的感受野最大，语义信息最丰富，对整株杂草、大丛杂草的识别特别管用。实测下来，加了P6之后，对大草丛的误检率明显下降，因为模型能更好地看到"全局形态"，而不是只盯着局部叶片纹理。

但多一个尺度不全是收益。P6会带来额外的计算开销，对显存也有要求。我的做法是让P6只在训练阶段参与计算，推理阶段为了保住帧率，可以动态裁剪掉这一层。或者也可以把P6那路的检测头去掉，只保留它作为特征融合的输入，这样既拿到了大感受野的信息，又不会拖慢推理速度。这个思路在项目里实测效果不错，后面讲部署的时候细说。

1.3 ReCalibrationFPN解决的核心痛点

再说说为什么要在FPN上加"重校准"（ReCalibration）。纯FPN结构有个老毛病：自顶向下的路径传递语义信息时，不同层级的特征重要性其实是不同的，但默认的加法融合对它们一视同仁。农田场景里，杂草的叶片边缘、纹理细节大量集中在浅层特征，而"这是草不是作物"这种判别性语义信息又主要在深层特征，两层一相加，浅层的细节可能被深层特征的强响应给盖掉，导致边缘模糊、小目标定位不准。

ReCalibration的核心思路，就是在特征融合之前，先让网络自己学一学每一层特征通道的重要程度，该放大的放大，该抑制的抑制。具体做法是在FPN的每条横向连接上加了一个轻量级的通道注意力模块，先全局平均池化得到每个通道的全局统计量，再通过两个全连接层计算出通道权重，最后把权重乘回原特征图。

这个模块加得很轻，参数量只增加了不到两个百分点，但效果出乎意料地好。测试集上mAP50直接涨了将近两个点，小目标那一类的AP更是从78.4涨到了83.1。这说明杂草识别这个任务里，"细节"和"语义"之间的平衡确实是个关键矛盾，ReCalibration正好把这个矛盾解决掉了。

2. 数据集的构建与预处理

2.1 田间数据采集的三个原则

算法做得再好，数据不行全白搭。我采集数据时定了三条铁律，分享出来给大家参考。

第一条是覆盖全生长周期。杂草不是一天长成的，从子叶期到拔节期到成熟期，形态差异极大。只采某一时期的照片，模型换个时间段就废了。我前后跑了三个不同月份，把同一块地里的主要杂草从刚出土到开花结籽全部拍了一遍。

第二条是光照和天气多样性。晴天、阴天、雨后、清晨、傍晚，这些光照条件下的颜色和纹理完全不一样。我的采集尽量分散在不同时间段，阴天和晴天的比例控制在2比1左右，因为实际作业中阴天占了很大比例，模型对阴天场景的适应性一定要足够强。

第三条是拍摄角度和距离的随机性。无人机拍的俯视图、手持设备拍的斜视图、地面巡检车拍的近景，三种都要有。角度单一化会导致模型过拟合视角，换个拍摄方式性能暴跌。

2.2 标注策略与类别平衡处理

标注这块，我用的工具是常见的图像标注软件，格式导出为YOLO的txt格式。但有几个坑必须提醒：

一是杂草类别的定义要统一。不同地块、不同季节，杂草形态差异大，如果类别边界不清晰，标注人员之间会产生大量分歧。我在标注规范里明确写了每个类别的"标准形态示意图"，标注前全员培训，标注后抽样复核，一致性从78%提到了94%。

二是小目标不要漏标。杂草幼苗期很多目标在图片中只有十几个像素，人眼很容易扫过去。我的做法是在标注软件里把图像放大到200%再标，虽然慢一些，但小目标标注数量明显上来了。

三是类别不平衡问题。田间杂草往往几种优势种占了大头，稀有杂草只有几十个样本。我在训练时用了两种手段：第一，对稀有类别做过采样，在每次epoch里让稀有类别的图像出现频率更高；第二，给稀有类别更高的loss权重，让模型在优化时对它们更敏感。

2.3 数据增强组合拳

数据增强是杂草检测的重中之重。我的做法是分两套：一套是YOLOv11自带的在线增强，比如马赛克、随机仿射、色彩抖动；另一套是离线增强，针对农田场景做特化处理。

比较有效的是下面几种组合：

• 随机遮挡模拟：把图像随机区域用杂草纹理或纯色块遮住，强迫模型学习非局部特征，对"草被作物叶片挡住一半"这个真实场景帮助很大。
• 颜色扰动：不只是明暗变化，还包括色相偏移。苗期的草和土背景颜色区分度低，适当的色相偏移能增加模型对颜色差异的敏感度。
• 复制粘贴增强：把标注框里的杂草目标抠出来，随机旋转缩放后贴到其他背景图上，同时复制对应的标注框。这个方法对稀有类别非常管用，相当于人工扩充了样本量。

我特别想强调一下，不要盲目叠加增强。增强过猛反而会让模型学不到真实分布，测试时表现不佳。我的经验是效果收敛到一定程度就不再加，测一下验证集mAP，掉了就回退。

2.4 数据集规模与划分建议

最终数据集我攒了大概一万两千张图像，标注目标数接近八万个。这个量级在农业场景里不算小，但和通用检测的数据集比还是弟弟。划分比例按8比1比1做训练、验证、测试，关键是测试集一定要按地块切分，不要让同一块地的图像同时出现在训练集和测试集里。否则模型相当于记住了一块地的"背景长相"，换块地性能就崩了。

做这个项目最常犯的错就是把数据乱切，导致验证集指标虚高。我按地块划分之后，测试集mAP比乱切时掉了大约三个点，但那个指标才是真实水平，心里反而踏实了。

3. 训练配置与核心参数解析

3.1 实验环境与基础配置

硬件方面我用了一张单卡训练，显存24G，模型输入尺寸设置在640乘640。这个尺寸是经过掂量的：再往上调比如1280，小目标检测精度会提升，但显存占用翻倍，推理速度下降明显，对边缘设备部署不友好。640乘640在精度速度和显存之间是个均衡点。

训练参数我这样设的：初始学习率0.001，使用余弦退火调度，最终衰减到百分之五，总epoch数300，batch size选了16。优化器用的SGD，momentum设为0.937，weight decay设了0.0005。

这里解释一下为什么用SGD而不是Adam。Adam收敛快，但后期精度往往不如调好的SGD。检测任务通常更看重最终收敛精度，SGD配合合适的调度器反而能刷出更好的mAP。当然SGD对学习率更敏感，初始学习率设大了容易震荡，需要多试几次。

3.2 损失函数与分支设计的细节

YOLOv11的损失函数分三块：分类损失用BCE，边界框回归用CIoU，再加上DFL（Distribution Focal Loss，分布焦点损失）。DFL这个设计很有意思，它把边界框的坐标预测建模成一个离散分布而不是直接回归一个值，能更好地表达预测的不确定度。

我针对杂草场景对损失权重做了一点调整。杂草检测中，定位不准比分类错误更致命，因为你框偏了，后续的喷洒设备就没法精准作业。我把CIoU的权重从默认值调高了20%，分类损失权重保持不变，DFL不变。改完后边界框的定位精度有明显提升，具体体现在mAP75这个指标上，涨了大约两个点。

有一点需要提醒：DFL更适合训练，推理时还是要从分布中解算出最终坐标。YOLOv11的代码里这一步已经封装好了，不需要自己处理，但理解原理对排查训练问题还是有帮助。

3.3 消融实验的完整记录

做消融实验是最能说明问题的方式。我把三个核心改进拆开，分别验证每个模块的贡献：

这个结果非常有意思。单独看P6的推理耗时增加不少，但精度提升也明显；单独看ReCalibrationFPN，耗时增加很少，精度提升却比P6更大。两个模块叠加之后有协同效果，mAP50逼近90个点。

我后来想明白了为什么会有协同。ReCalibration让不同层特征融合得更充分，P6提供了更强的全局语义，两者一个解决"融合质量"一个解决"信息广度"，正好互补。这也是为什么最终方案要做成"YOLOv11-ReCalibrationFPN-P3456"而不是简单堆模块。

3.4 训练过程的监控与调优技巧

训练过程中我主要盯三个指标：训练loss曲线、验证集mAP曲线、以及每类别的AP分布。

比较常见的坑是训练loss降了，验证mAP却不涨，大概率是过拟合了。我这时候会把增强强度调低，或者加一点dropout。反过来，训练到一半loss卡住不降，检查一下学习率是不是衰减得太快了。

还有一个容易忽略的细节：BN层在训练和推理时的行为差异。YOLOv11默认开了BN，小batch训练时BN的统计量会不稳定。如果batch size被迫调小，比如只有8，建议把BN的momentum设低一点，或者改用更大的batch。我因为显存限制试过batch size 8，验证集精度掉了将近两个点，换回16之后就正常了。

4. 部署与工程化落地的实战记录

4.1 模型导出与格式转换

训练完的PyTorch模型不能直接用于部署，我先做了一系列优化转换。第一步是把模型导出为ONNX格式，这一步要注意设置动态输入尺寸还是固定输入尺寸。边缘设备上固定640乘640推理速度更快，但我当时考虑到实际拍摄图像不一定能裁成这个比例，就用了动态尺寸导出，虽然推理稍慢，但接口更灵活。

第二步是精度对齐。ONNX转换后，模型输出和原始PyTorch输出会有微小差异，因为某些算子在不同框架下的实现细节不一样。我用一组真实图片做数值对比，逐层检查最大绝对误差，确保误差在可接受范围内。

第三步是量化。边缘设备算力有限，我把模型从FP32量化到FP16，精度损失非常小，mAP50只掉了0.3个点，但推理速度提升了接近一倍。有条件的话可以试试INT8量化，但那需要校准数据集，目前还在测试中。

4.2 边缘设备部署验证

部署环境用的是常见的嵌入式推理平台，算力大概是几十TOPS级别。实测下来，动态尺寸输入时，640乘640的单帧推理时间大约23毫秒，折算下来每秒可以处理四十多帧，完全满足实时巡检需求。

温度和功耗表现也值得关注。野外作业夏天地表温度很高，设备散热压力不小。我专门做了高温压力测试，在环境温度接近40度的情况下连续运行两个小时后，推理速度没有明显下降，说明这套方案在恶劣环境下也能稳定撑住。

部署时还有一个必须处理的细节：后处理中的非极大值抑制（NMS）。YOLOv11输出的原始预测框很多，直接跑NMS在CPU上会比较耗时。我的做法是把NMS放到推理芯片上执行，因为它有专门的加速算子，整体延迟降低了大约六毫秒。

4.3 真实农田环境下的效果评估

实验室指标好看只是第一步，真实环境才是试金石。我在两个不同地块做了验证测试。

第一块是杂草密度较低的玉米田，草和作物间距明显。这套系统表现很好，精确率达到92%以上，误检率很低，几乎没有把作物当杂草的情况。

第二块是杂草密集的休耕田，草和草之间粘连严重，形态相互遮挡。这个场景难度大了不少，精确率降到83%左右，召回率在90%上下。为什么会掉精度？因为很多杂草只有一小簇露出来，模型要同时判断"这里有草"和"这块草属于哪一簇"，边界很难划得干净。

我针对这个情况做了两个补救：第一，增加一个"密集场景"的专项数据集，专门涵盖了草粘连的情况；第二，在后处理上引入分割辅助信息，把粘连区域切分成更小的单元再检测。这两个措施落地后，密集场景的精确率回升到了86%左右。

4.4 系统集成与预警反馈机制

算法只是系统中的一环，真正要落地还得和硬件设备联动起来。我这边做了一个简单的控制逻辑：模型检测到杂草后，输出每个目标的类别和坐标，然后换算成设备的作业坐标，驱动喷洒机构定点作业。这种方式比传统的"整片喷洒"节省了大量药剂。

另外我还在系统里加了一个置信度过滤机制：低于阈值的检测结果不会触发作业动作，而是标记为"疑似区域"，待人工复核。这个设计解决了一个实际问题——模型偶尔会产生高置信度的误检，如果直接联动喷洒，损失不可控；设置一个人工复核环节能有效兜底。

5. 常见问题与排查技巧实录

5.1 小目标杂草检测效果不佳的排查思路

如果你跑出来的模型对小目标检测效果差，先别急着加模块，按这个顺序排查：第一，检查数据集中小目标样本占比，如果占比过低，先做复制粘贴增强；第二，检查输入图像分辨率，训练时分辨率高一些，小目标特征才留得住；第三，检查特征金字塔是否真的融合了小目标信息，可以在训练日志里单独打印小目标类别的AP曲线，看是否随训练上升。

我遇到过最典型的情况是：训练loss一切正常，但小目标AP始终在70%左右上不去。后来发现是标注的问题——很多小目标的边界框标得太随意，有的框甚至只有四五个像素高，模型根本没法学习精确位置。重新精标这批数据后，小目标AP直接涨了六个点。数据质量永远优先于模型结构。

5.2 模型在阴天和逆光下性能骤降的处理

农田场景的光照变化是最大变量之一。我有一版模型在训练集上表现不错，拿到室外阴天一测，mAP掉了九个点，非常痛。

排查了数据后发现：训练集里阴天图片只占一成，模型对阴天下的纹理和对比度特征根本没学好。我后来专门补采了一批阴天和逆光数据，同时用图像处理手段做模拟，把正常图片的亮度和对比度降低，制造出类似阴天的效果。这招效果显著，补完数据后阴天场景的mAP只比晴天低一点五个点左右。

核心经验是：农田模型的数据多样性一定要刻意维护，不同天气、不同时间段、不同土壤湿度都要在数据集里占一定比例。

5.3 推理速度不达标的定位方法

部署时如果帧率不够，不要盲目换轻量级模型。先做性能剖析，找到真正的瓶颈在哪。我用性能分析工具跑了一遍模型推理，发现大部分时间花在了特征金字塔的多尺度特征融合上，优化方法有两个方向：一是减少不必要的通道数，二是把部分拼接操作替换为更高效的算子。

我做了一个实验，把ReCalibration模块的中间通道从64减到32，推理速度提升了约一成，mAP只掉了零点四个点。这对于帧率敏感的应用场景来说非常划算。你也可以参考这个思路做精度和速度的取舍。

5.4 杂草类别混淆的常见样本与策略

几类叶片形态相似的杂草之间最容易混淆，很多算法项目栽在细分类这个问题上。我的实战经验是这两种策略最有效：第一，扩大相似草种的样本量，尤其是它们和别的草种混生在一起的图像。如果一张图里有A、B两种相似杂草，模型会更容易学到它们之间的相对差异。第二，给相似类别的训练loss单独加权重，让网络更关注把它们分开。

我试过让相似类别的权重翻倍，虽然整体mAP没有明显提升，但混淆矩阵里相似草种之间的错分率下降了超过一成。对于需要精准作业的场景，这种改进带来的实际价值比整体mAP更能体现实用意义。

6. 后续扩展方向与最后的小技巧

6.1 可扩展的实时学习与增量训练

现在这套系统是静态训练的，遇到新地块的杂草种类，需要积攒一批数据重新训练。后续我打算做增量学习的机制：在作业过程中，模型对低置信度区域自动截取图像，定期让人工复核，复核后的数据自动加入训练集。这样数据积累会越来越高效，模型进入良性循环。

6.2 联动变量喷施系统的效益估算

有了准确的杂草分布图，就可以做变量喷施了。我简单估算过：常规整片喷施每亩用药量如果算作十，基于这套系统做定点喷施，用量能降到三到五左右。这不光是省钱的问题，减少农药残留对土壤和环境的压力也很大。后续规划把检测结果直接生成喷施处方图，交给农机上的执行机构使用，形成完整的闭环。

6.3 从项目里总结的三个小技巧

最后分享三个我在这个项目里踩过坑之后学到的实用技巧，都是文档上看不到的东西。

第一个是热力图可视化检查。训练完后，把验证集图片用热力图跑一遍，肉眼检查模型到底在"看"哪里。如果模型关注点不在杂草上，而是盯着一块无关的背景区域，说明训练出了问题，趁早回头补数据或者调参数，比盲目刷epoch有用得多。

第二个是边界框的微调后处理。模型输出的边界框往往比真实的杂草轮廓稍微大一圈，在喷施场景里这会导致浪费药剂。我在后处理里加了一个收缩系数，让边界框向中心聚拢一点，缩小约15%的边界框面积，药剂用量又省了一些，而且没有影响正确率。

第三个是多尺度训练不一定适合所有场景。很多教程推荐开启多尺度训练，让模型更鲁棒。我在杂草这个任务里试过，效果反而变差了，因为杂草幼苗太小，过度的尺度缩放会让模型在真实尺寸上感知失灵。后来我关闭多尺度训练，固定用640乘640，精度反而回升了。所以啊，所有公认的好技巧都要结合你的具体任务来评估，没有放之四海而皆准的银弹。