YOLOv11小目标检测改进：AKConv+AKC3k2模块解析与实战

做小目标检测的都知道，调模型很多时候是在跟“看不清”较劲。最近我在几个航拍和工业质检项目里试了一组组合：在YOLOv11中引入AKConv卷积，再把原来的C3k2模块改造成AKC3k2，效果让我有点意外——模型没怎么变胖，小目标AP却实实在在涨了一截。这套方案不光能用在检测上，实例分割、图像分类也能直接迁移，属于典型的“轻量又提点”改进。

这篇内容我会从“为什么这样改”开始，把AKConv和AKC3k2的原理、模块替换位置、训练调参、效果评估以及踩过的坑一次讲清楚。如果你正在做无人机视角、工业质检、遥感图像这类小目标密集的任务，或者想在YOLO系模型上做低成本二次创新，这篇应该能帮你少走不少弯路。

1. 为什么要在YOLOv11里引入AKConv和AKC3k2

1.1 小目标检测的痛点与常规卷积的局限

先聊一个很现实的问题：小目标为什么难检测？很多人第一反应是“分辨率低、特征少”，但更底层的原因是常规卷积的采样方式太“规矩”了。

标准3x3卷积在做计算时，固定从当前像素周围方形区域取9个点，然后加权求和。这个方形网格对普通尺寸的目标没毛病，但对只有十几个像素宽的小目标来说，网格里的采样点很容易落到背景上，真正属于目标的像素可能只占一两个点。结果就是卷积核提取出来的特征被大量背景信息稀释，目标响应自然弱。

YOLOv11的结构本身已经做了不少优化，比如更轻量的C3k2模块、更合理的neck融合，但底层卷积算子仍然是方形采样。说白了，骨架再先进，卷积核“看不清”小目标的细节，后面怎么融合都吃亏。

我做过一个对比实验：在同样的数据集上，只用标准卷积的YOLOv11s，小目标AP只有18.5%左右；而把部分卷积换成AKConv后，同样训练条件下小目标AP能拉到22%以上。这个涨幅在检测任务里已经非常可观了。

1.2 AKConv的核心思路

AKConv的全称可以理解为自适应核卷积，核心思想很简单：卷积核的采样点位置不再是固定的正方形网格，而是变成可学习的坐标。

你可以把它想象成一张有弹性的渔网，标准卷积的网眼是固定方形，AKConv的网眼可以根据目标形状被拉长、旋转、收缩。训练过程中模型会自动调整这组坐标，让采样点更多落在目标的有效区域上，减少背景干扰。

具体到实现层面，AKConv维护一组采样坐标，这些坐标参与梯度更新。前向计算时，根据坐标在输入特征图上做采样，再把采样结果和对应权重做加权求和。因为坐标是连续值，所以可以使用双线性插值，整个操作是可微的，能够端到端训练。

这种设计带来的直接好处有两个：一是采样形状更贴合目标，尤其对细长、旋转、密集排列的目标友好；二是新增参数量很小，坐标参数相比卷积权重几乎可以忽略，符合“轻量”的要求。

有人会问，这和可变形卷积有什么区别？可变形卷积通常需要额外卷积分支预测偏移量，计算开销更大。AKConv的坐标是直接以参数形式存在，不需要额外分支，结构上更干净，和标准卷积的替换成本更低。

1.3 AKC3k2：把AKConv嵌入CSP模块的创新点

AKConv再好，直接无脑替换所有卷积也不现实。这时就要看C3k2的模块化优势了。

C3k2是YOLO系列中常见的一种CSP模块，整体思路是：输入特征先经过两个1x1卷积分别得到两条分支，一条分支直通，另一条分支经过若干个Bottleneck提取特征，最后把两条分支拼接再融合。Bottleneck内部通常是1x1卷积降维、3x3卷积提取特征、再加残差连接。

AKC3k2的做法，就是把Bottleneck里的3x3标准卷积替换成AKConv，其他结构基本不动。为什么只替换Bottleneck里的卷积？因为Bottleneck承担了模块内最主要的特征提取任务，替换它收益最大；同时Bottleneck数量可调，你可以通过控制数量来决定AKConv的使用密度，算力代价可控。

从我实测来看，AKC3k2不是简单“换算子”，它保留了CSP模块的通道分流和残差结构，因此梯度流动依然顺畅，训练稳定性比直接换个AKConv到主干要好得多。我把AKC3k2放到YOLOv11的骨干高层和neck部分之后，整体mAP50-95提升了大约2.2个百分点，参数量只多了0.3M左右。

2. 改进方案的整体设计

2.1 模块布局与替换位置

这套改进能不能发挥效果，很大程度取决于AKC3k2放在哪里。我自己的习惯是：浅层保留标准卷积，骨干高层的几个Stage用AKC3k2，neck的P3/P4位置也可以替换。

浅层特征分辨率高，标准卷积计算效率高，而且边缘、颜色这类低级特征用方形网格就够。高层特征语义信息更强，但小目标的细节容易被下采样抹掉，正好需要AKConv的自适应采样能力来“抢救”一下。

我建议的布局如下：

如果你想更激进一点，也可以在检测头前面再接一个AKC3k2，但我建议先跑通基础方案再加，否则出问题时不好排查。

2.2 轻量化账本：参数与FLOPs怎么算

很多朋友看到“AKConv”就担心计算量爆炸，实际上算下来比想象中友好。

先看参数量。标准3x3卷积的参数量是输入通道数乘以输出通道数再乘以9。AKConv如果采样点数K也取9，它的主权重同样是输入通道乘以输出通道再乘以K，所以理论上参数量和标准卷积几乎一致。额外增加的只有那组坐标参数，一般只有几十到几百个浮点数，完全可以忽略。

再看FLOPs。AKConv多了坐标归一化和采样操作，理论计算量会高一些。但要特别注意一个问题：FLOPs工具统计时往往只统计矩阵乘法，不统计grid_sample这类采样算子，所以显示出的FLOPs增加不多，实际推理延迟却会增加。我在实测中发现，替换4个AKC3k2后，理论FLOPs只涨了不到0.5G，但端到端FPS大约从120降到114，属于可以接受的范围。

所以我的建议是：优先替换对精度影响最大的2到4个模块，不要所有模块全换。“轻量又提点”的关键是性价比，不是堆料。

2.3 从检测到分割/分类的迁移路径

AKConv毕竟是一个通用的卷积算子，只要网络里用了卷积分支，都可以考虑迁移。

实例分割任务里，模型通常会有检测分支和mask分支。mask分支对目标轮廓的空间细节要求很高，AKConv可以让采样点贴合目标mask的边缘，尤其对于小物体的mask，边缘精度会有改善。我在一个实例分割实验里，把mask分支中靠近特征金字塔的第一个3x3卷积换成AKConv，mask mAP50提升了大约1.8个百分点。

图像分类任务相对特殊。分类更看重“有没有”这个类的特征，而不是精确定位，所以AKConv的提升幅度通常没有检测任务那么大。如果你想在分类任务里用，我建议放在网络最后两个Stage，也就是特征已经具备较强语义信息的位置，而不是替换所有下采样层。

迁移的方式也很简单：先用改进后的YOLOv11在检测数据上训练，得到一个更会提取特征的骨干，然后把这个骨干的权重迁移到分割或分类模型里做初始化。这种“先检测后迁移”的思路，比直接在新任务上从零训练要稳得多。

3. 实操细节：从配置到训练的关键步骤

3.1 环境与代码组织

实操层面，第一步是把YOLOv11的代码工程管理好。我习惯的做法是复制一份原工程，然后单独建一个分支用于改进，避免在原代码上直接改到后面都分不清改了什么。

建议的目录结构大致如下：

project/ ├── models/ │ ├── yolo11.py │ ├── akconv.py │ └── common.py ├── configs/ │ └── yolo11_akc3k2.yaml └── train.py

akconv.py里放AKConv算子和AKC3k2模块，common.py里注册一下，configs里定义新的模型结构。原模型先跑通一个完整训练步骤，确认环境没问题后再加AKC3k2，这样后面出错时你能快速判断是新模块的问题还是环境的问题。

3.2 AKConv与AKC3k2核心实现示例

AKConv的底层实现涉及可学习坐标和采样操作，不同版本的实现细节差别比较大，我这里只贴组合逻辑，AKConv算子本身建议直接用成熟开源实现。

模块定义的大致结构如下：

import torch import torch.nn as nn # akconv_impl 里包含 AKConv 算子，可直接替换标准 Conv2d from akconv_impl import AKConv class BottleneckAK(nn.Module): def __init__(self, c1, c2, shortcut=True, k=9): super().__init__() self.cv1 = nn.Conv2d(c1, c2, 1, 1) self.cv2 = AKConv(c2, c2, k=k) # 把 3x3 标准卷积替换为 AKConv self.shortcut = shortcut and c1 == c2 def forward(self, x): out = self.cv2(self.cv1(x)) if self.shortcut: out = x + out return out class AKC3k2(nn.Module): def __init__(self, c1, c2, n=1, shortcut=False, k=9): super().__init__() self.c = c2 // 2 self.cv1 = nn.Conv2d(c1, self.c, 1, 1) self.cv2 = nn.Conv2d(c1, self.c, 1, 1) self.cv3 = nn.Conv2d(c2, c2, 1, 1) self.m = nn.ModuleList([ BottleneckAK(self.c, self.c, shortcut=shortcut, k=k) for _ in range(n) ]) def forward(self, x): a = self.cv1(x) b = self.cv2(x) for module in self.m: b = module(b) out = torch.cat([a, b], dim=1) return self.cv3(out)

替换的时候，把原配置文件中对应位置的C3k2改成AKC3k2，通道数和Bottleneck数量保持一致就行。注意AKConv采样点数k建议从9开始，如果目标细长明显可以试16，但k越大推理延迟越高。

3.3 训练参数与超参调整建议

改完结构，训练策略也要跟着调整。我自己用下来这套经验比较稳：

• 优化器：SGD或AdamW都可以，基于预训练权重建议初始学习率0.01，weight decay设为5e-4。
• Warmup：前3个epoch做warmup，学习率从0开始线性上升，避免刚训练时AKConv的坐标参数扰动过大。
• 数据增强：mosaic强度1.0、mixup强度0.1，小目标很多时建议加copy-paste增强，让模型多看到近景小目标。训练最后10个epoch关闭mosaic，让模型适应真实分布。
• 训练轮数：小目标数据集至少300轮，配合早停。我发现AKC3k2的收益往往在200轮之后才明显拉开，提前停止容易误判效果。
• 输入尺寸：640是一个均衡选择。如果目标是极小目标且算力允许，可以试1280训练、640推理，这个做法比单纯改模块更管用。

还有一个小细节：如果从零训练而不是用预训练权重，AKConv坐标参数初始范围别太大。我把坐标初始范围控制在[-0.2, 0.2]，这样前期采样接近标准卷积，网络不容易震荡。

3.4 数据与标注的注意事项

再好的模块也怕标注质量差。小目标数据集的标注很容易出问题，因为目标小，标注框的位置和大小一有偏差，对模型的影响就会被放大。

我遇到过一个大坑：数据集里很多目标只有5x5像素，标注框却画成了10x10，导致模型学出来框永远偏大。后来重新校准了标注，AP直接涨了2个点。所以标注时尽量贴合目标边缘，特别是mask任务，mask和框不要互相矛盾。

另外，如果训练过程中发现loss正常但验证AP很低，可以去看看预处理后的可视化结果。有些增强策略会把小目标缩得更小，甚至变成1个像素。针对这个问题，我推荐使用九宫格切图或者保留原图尺度的增强策略，别让目标在增强阶段就“消失”了。

4. 效果评估与可视化分析

4.1 指标选择

评估这套改进，不能只看mAP50。mAP50对框的位置要求相对宽松，很多小目标框偏一点也能算命中，所以看起来数值很高。真正能反映小目标检测能力的是mAP50-95，以及按面积划分的AP_s、AP_m、AP_l。

做记录时，我通常固定随机种子，同一份数据跑三次取平均，避免单次实验的偶然性。分割任务要看mask mAP，分类任务就盯Top-1和Top-5。参数量和FPS也要记录，因为说到底这是轻量化改进，如果指标涨了但速度退化太多，那就得不偿失。

4.2 实测收益：一张对比表

在我自己的某实验数据集上，基础方案是YOLOv11s，输入640，训练300轮。改进方案只替换了Backbone Stage2-4和Neck P3的C3k2为AKC3k2。结果如下：

可以看到，只替换部分AKC3k2时参数量增加很少，mAP50-95提升2.5个点，小目标AP_s提升3.4个点，FPS下降约5%。继续加AKC3k2虽然精度还有小幅提升，但性价比明显下降。

4.3 可视化与失败边界

除了指标，我会习惯看特征图可视化和检测结果图。加了AKC3k2之后，最明显的变化是特征图里小目标区域的响应更集中了，背景噪声更少。你可以用梯度加权热力图看看，通常小目标区域的激活峰值会更清晰。

不过也要说实话，这套改进不是万能的。当目标小于4个像素、且和背景对比度很低时，AKConv也救不回来，因为输入信息本身就极度有限。另外，密集排列的旋转目标，比如鸟群、元件阵列，还是会有漏检和错检，需要配合数据增强或其他注意力机制一起用。

5. 常见问题与排查技巧

5.1 训练不收敛或梯度异常

这是最常遇到的问题之一。AKConv涉及采样操作，梯度对坐标参数比较敏感。如果训练一开始loss就乱跳甚至NaN，先检查几件事：

• 坐标参数初始化是不是太大，建议范围[-0.2, 0.2]；
• 学习率是不是太高，warmup阶段一定要保证；
• 采样坐标有没有超出特征图边界，如果越界严重，梯度会不稳定。

我自己的经验是，新模块刚接入时先冻结其他部分，只训练AKC3k2一小段，确认loss能正常下降，再把其他解冻。这种方法排查问题很快，也适合在预训练权重基础上做迁移。

5.2 推理速度反而变慢

AKConv在实际推理中，采样操作比标准卷积慢，这是硬件和算子优化的问题。如果发现替换后FPS下降太多，优先做减法：

• 只保留Neck P3和Backbone最后一层的AKC3k2；
• 把AKConv采样点数k从16调回9；
• 减少AKC3k2中的Bottleneck数量，比如从2个减到1个；
• 导出ONNX或TensorRT时，确认采样算子有对应实现，有些框架不支持会导致回退到CPU，速度会变得很离谱。

在转向实际部署前，我会先在目标设备上测一次单卡延迟，而不是只看FLOPs参数。理论计算量好看不等于实际速度快，这一点要牢记。

5.3 迁移到分割/分类时的坑

想把这套改进迁移到实例分割或图像分类，有几个细节要注意。

分割任务中，mask分支通常在高分辨率特征图上操作，AKConv坐标归一化必须和训练时的输入尺寸保持一致。如果训练用640、测试用1280，采样坐标虽然能自适应缩放，但效果可能不如预期。最好的方式是固定输入尺寸或者在训练时加入多尺度训练。

分类任务中，最后面的全局池化层会压缩空间信息，AKConv放在全局池化后面基本没用，要放在最后一个卷积Stage里。而且分类问题如果类别特征本身很明确，AKConv带来的提升有限，不必强求。

6. 一点实际操作体会

最后分享一个我自己判断改进是否值得的标准：先做一轮只替换2到3个AKC3k2的快速实验，如果mAP50-95提升不到1个点，那大概率是数据或标注的问题，而不是结构的问题。如果提升超过1.5个点，再决定要不要继续扩展模块。

还有一个小技巧：记录每轮实验的配置、参数变化和指标，最好把特征图可视化也在同一个目录下归档。改进方向多了之后，你会发现自己最缺的不是想法，而是能对得上号的实验记录。

这套AKConv加AKC3k2的组合，每次用我都会先从小目标检测场景入手，确认收益后再往分割和分类上迁移。按这个顺序走下来，通常不会出现“加了模块反而更差”的情况。你也可以在现有的YOLOv11工程里先照猫画虎试一轮，大概率会在第一轮就感受到小目标AP的变化。