YOLOv11改进：CAA注意力+HSFPN提升手势识别小目标检测

上个月我接了一个人机交互类项目，需求很直接：用普通笔记本摄像头实时识别六种手势，作为无接触控制指令。第一版我直接搬出原版YOLOv11s，在自己采集的手势数据集上跑了几十轮，结论很明确——能用，但远谈不上好用。mAP50看起来有90出头，表面光鲜，可mAP50-95只有70上下，小目标AP更是掉到了60多。真正放到实际场景里，手掌在画面里占得稍小一点就开始漏检，数字1和数字2之间还会频繁串门。

于是我开始给YOLOv11动刀。最终的改进版本是：在Backbone末端引入CAA注意力模块（Context-Anchored Attention），把Neck换成了按手势检测需求调整过的HSFPN（高语义特征金字塔网络）。整套改动让参数总量只增加了约2M，但小目标AP从63.4提到了79.3，mAP50-95从72.8涨到78.5，单卡推理FPS还能稳定在65以上。这个项目标题就叫"YOLOv11改进版_CAA_HSFPN网络_六种手势检测与分类"，下面我把整个过程中的决策逻辑、模块设计、训练细节和踩坑记录完整写出来。如果你也在做手势识别、指令分类或类似的小目标检测，这篇可以当一份完整的排雷参考。

1. 手势检测的难点在哪：为什么要动YOLOv11

1.1 手势任务和通用目标检测任务的根本区别

通用目标检测里，像人、车、猫狗这些目标，通常占画面比例较大，类与类之间的特征差异也很明显。人手不一样，它在画面里往往只占不到5%的区域——真正负责识别的手指区域更小，可能只有几十个像素。YOLOv11的检测头输出三层特征，分别对应不同尺度，但经过多层下采样之后，指尖、指缝这些小细节在高层特征上几乎没有响应。数字1和数字2的区别只有"多伸一根手指"，这种类间差异属于语义层面的细微差别，靠普通卷积下采样出来的抽象特征是很难分辨的。

另外，手势是柔性物体，自遮挡非常严重。手指一弯曲，轮廓就变了；运动状态下还有模糊，低光照环境下对比度又差。这些特性叠加起来，让手势检测比普通小目标检测更依赖"注意力聚焦"和"多尺度信息保留"。我用原版YOLOv11s做基线测试时，最大的感受是：网络在复杂背景里"找不到重点"，特征金字塔又没能把底层细节和高层语义有效组织起来，两个问题正好对应了后来加的CAA和HSFPN。

1.2 原版YOLOv11在手势数据上的实测结果

我在统一验证集（里面刻意包含大量小尺寸、遮挡和模糊样本）上记录了原版YOLOv11s的数据：

最让人难受的不是mAP50，而是mAP50-95。mAP50只看IoU>0.5的框，要求相对宽松；mAP50-95把IoU从0.5逐步卡到0.95，对定位精度的要求非常苛刻。手势检测后续往往要接关键点估计或者指令映射，框如果只是"大概准"，后面的处理全都会跟着歪。所以定位精度的提升，优先级比单纯"能不能检测到"更高。

1.3 我框定的改进路线

常见的改YOLO路线无非四类：换Backbone、加注意力、改Neck、改损失函数。换Backbone（比如换成某些更强的主干网络）通常能涨点，但参数量和推理延迟会明显上升，对实时交互场景不划算。改损失函数见效快，但只是让网络在已有表达能力的范围内"更努力"，并不能解决特征表达本身缺失的问题。所以我最终把改动集中在两处：注意力模块加在Backbone末端，负责拉高对关键区域的响应；特征金字塔加在Neck部分，负责把多尺度信息重新组织好。目标很明确——精度要涨，FPS不能从92掉到50以下。

2. CAA注意力模块：让网络学会"盯着手看"

2.1 注意力机制要解决的具体问题

普通卷积是局部操作，每一层卷积的感受野有限。虽然网络深了之后感受野会变大，但特征图的空间分辨率也在下降，网络对"该关注画面里哪个位置"这件事并不敏感。以数字1和数字2为例：全局来看，两者都是"竖着几根手指"，空间布局相似，真正的差异集中在指尖附近几十个像素里。没有注意力机制的话，Backbone会把大量计算浪费在无关背景上。

我查过一些公开的注意力设计思路，最后决定自己实现一个CAA模块。名字里的CAA我把它理解为Context-Anchored Attention——用全局上下文作为"锚点"，去和局部细节特征做交互，生成空间和通道两个维度的注意力权重。之所以强调"锚点"，是因为手势检测里背景干扰往往很强，单纯靠局部卷积很难判断"哪里是手、哪里是背景"，而全局上下文能提供一个稳定的参照。

2.2 CAA模块的分支结构

CAA模块的输入是Backbone某个Stage输出的特征图，记为X，形状为C×H×W。内部结构分成三条路：

1. 全局上下文分支：对X做全局平均池化，压缩成C×1×1的向量，再用1×1卷积和ReLU做特征变换，得到一个"全局描述"g。这个g代表整张特征图上的整体语义倾向，比如"当前画面存在手掌区域"。
2. 局部分支：用3×3深度可分离卷积处理X，保留手指边缘、指缝这些高频细节，得到局部特征l。深度可分离卷积是为了控制参数量，毕竟要用在实时检测器里。
3. 注意力融合：把全局描述g扩展回C×H×W，和局部特征l逐元素相加，经过Sigmoid生成空间注意力图A。与此同时，对X再做一次全局池化和通道重标定，得到通道权重w。

最终输出是X乘以空间注意力A和通道权重w，再加上原始X的残差连接。残差连接很关键——如果注意力判定"这个区域不重要"，权重接近0时，输出会退化成只剩输入X，梯度依然能顺利回传，不会把网络练死。

2.3 我试过的三个插入位置

CAA往哪放，直接决定效果。我做了三组对照实验：

规律很清楚：每个Stage都加CAA，参数量涨得最快，FPS掉得最多，精度提升却一般，因为低层特征本身还在保留细节，过早加注意力反而会干扰边缘信息。只加在Neck入口，效果中等。放在Backbone最后两个Stage之后效果最好——手势的类间差异要在高层语义才能体现，注意力放在这里，等于让网络在下采样完成后、进入Neck之前，先做一轮"重点区域筛选"。

2.4 一个轻量级CAA实现

下面是我在项目中使用的简化实现，去掉了部分工程细节，保留核心逻辑。里面的temperature参数是后来为了控制注意力权重强度加的，后面讲小目标漏检排查时会再提到。

import torch import torch.nn as nn class CAA(nn.Module): def __init__(self, channels, mid_channels=None, k=3, temperature=1.0): super().__init__() mid = mid_channels or max(channels // 8, 16) # 全局上下文分支：池化到1x1，再还原到通道数 self.global_branch = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, mid, 1, bias=False), nn.ReLU(inplace=True), nn.Conv2d(mid, channels, 1, bias=False), ) # 局部分支：深度可分离卷积 self.local_dw = nn.Conv2d(channels, channels, k, padding=k // 2, groups=channels, bias=False) self.local_pw = nn.Conv2d(channels, channels, 1, bias=False) self.sigmoid = nn.Sigmoid() self.temperature = temperature def forward(self, x): # 全局锚点：C x 1 x 1 -> C x H x W g = self.global_branch(x).expand_as(x) # 局部细节特征 l = self.local_pw(self.local_dw(x)) # 空间注意力，除以温度系数控制强度 a = self.sigmoid((g + l) / self.temperature) return x * a + x

这个实现里没有单独再算通道权重，而是让全局分支隐式承担了通道重标定的角色，效果差不多，参数量更省。如果你要用在自己的任务里，可以把temperature当成一个可调项，一开始设1.0，遇到注意力过度平滑导致小目标响应被稀释的情况，再调大到2.0甚至3.0。

3. HSFPN特征金字塔：处理"大小手"和"远近距离"

3.1 默认Neck为什么在尺度跨度大的场景里吃亏

手势检测最让人头疼的现实问题是：同一帧画面里，近处的手掌可能占画幅三分之一，远处的可能只有二三十个像素，尺度跨度极大。YOLOv11默认的Neck是类似带自底向上路径的Pan结构，自顶向下融合时，高层语义信息在逐层传递中不断被稀释，等传到浅层时，语义信号已经很弱；自底向上路径虽然补充了细节，但对"底层细节与高层语义之间的错位"没有直接解决。

我用可视化工具看过各层特征图，明显发现：小手掌在P3层有响应，但置信度很弱，因为P3在融合时接收到的高层语义太少，网络不知道该把这块区域当作"手"来看待。这就导致两个极端：手大时低层细节多，检测尚可；手小时高层语义缺位，直接漏检。

3.2 HSFPN的两个核心变化

HSFPN我带入了两个与默认Neck不同的设计：

第一，增加"高语义指导分支"。把Backbone最深层的输出C5，经过全局池化和1×1卷积，得到一个全局语义向量，再把向量扩展成特征图，分别上采样到C4、C3的尺寸，注入到对应层的融合中。这样浅层特征在融合阶段就能直接拿到"画面里有一只手"这种高层语义，而不是等语义一层一层传下来传丢。

第二，采用双向加权融合。每个尺度的输出，同时融合来自高层的上采样特征和来自低层的下采样特征，每一路特征分配一个可学习的权重，softmax归一化后逐元素加权相加。这比常规的concat再接卷积方式参数量更小，训练时权重也能更稳定地收敛。

简单描述HSFPN中的一个融合计算：设当前层特征为P4，高层语义增强后的P5上采样为P5↑，低层细化的P3下采样为P3↓，则输出为σ(w1)·P4 + σ(w2)·P5↑ + σ(w3)·P3↓。σ保证三个权重和为1，网络能自动学习"当前手部尺度下，应该多相信底层细节还是高层语义"。

3.3 可学习融合权重怎么算

可学习权重说起来不复杂，实现时要小心一点：直接把每个w用softmax处理时，初始值接近均匀分布，网络在前期会表现得不温不火，融合效果和简单加和差不多。我在初始化时把高层路径的权重设得稍大一些，让模型一开始就更信任全局语义，后续再逐步调整。这个初始化细节对收敛速度的影响还挺明显，前期loss下降快了大概15%。

3.4 CAA和HSFPN的协作关系

很多人会把注意力和特征金字塔混在一起理解，其实两者职责完全不同。CAA负责"筛选"：从Backbone输出的特征里挑选出与手部相关的关键区域，把背景响应压低。HSFPN负责"组织"：把不同尺度的特征重新调配，确保小手掌也能获得足量语义、大手掌也不会丢失细节。先筛再融，顺序不能反。如果先做特征融合再做注意力，融合会把大量背景信息混进手部区域，注意力再想压回来就晚了。

4. 六种手势数据集：从采集到标注的血泪经验

4.1 六类手势的选择逻辑

我最终选定的六类手势是：数字1（食指）、数字2（食指+中指）、数字3（食指+中指+无名指）、数字4（四指并拢）、数字5（五指张开）、握拳（拳头）。选择标准有两条：一是视觉区分度相对明确，二是能映射成常用的控制指令。比如数字1代表确认、数字2代表取消、数字3代表菜单、数字4代表返回、数字5代表退出、握拳代表暂停。

这里特别提醒：不要选看起来特别像的类别。比如"数字3"和"OK手势"同时存在时，训练难度会指数上升；数字6到9的大多数手势在不同人做出来差异太大，反而容易成为分类噩梦。六类是我在任务可接受范围内，平衡了差异性和指令充分性的选择。

4.2 采集时我控制住的变量

训练数据不是随便拍几万张就完事，关键是要把真实环境里的变量铺开。我在采集阶段控制了以下维度：

• 背景：办公室白墙、桌面杂物、走廊、室外树荫，至少覆盖6种以上背景，防止模型把背景纹理误当特征；
• 光照：白天自然光、夜间顶灯、屏幕亮光侧面补光，甚至故意加入局部高光和暗角；
• 肤色：不同人种和不同肤色的手，样本比例尽量均匀；
• 距离：手掌到摄像头从15cm覆盖到120cm，确保画面里手部尺寸有大有小；
• 角度：手部平面内任意旋转、左右侧翻、前倾后仰都拍入样本；
• 遮挡：手指穿过手臂、另一只手遮挡部分手指等真实场景里会出现的遮挡情况。

最终每类收集了6000张原始图片，总共约3.6万张。这些原始图在不做在线增强的情况下，已经能覆盖大部分真实场景。

4.3 标注规范和双人复核

标注环节最容易出问题，我踩过最大的坑是标注标准不一致。两个人标注时，A习惯把框收得刚好贴住手掌和手指最外缘，B习惯把框放宽一点、把部分背景包进来。这样训练出来的模型，对目标框的"松紧"理解很混乱，直接导致mAP50-95上不去。

后来我定了硬性规范：标注框必须紧贴"手掌轮廓加所有伸展手指的最外边缘"，遮挡严重且难以判断轮廓的样本单独放一个目录，不参与第一轮训练。每个批次标注完成后，进行双人交叉复核，把框偏差超过5个像素的样本挑出来重新标。这个环节耗时最久，但对最终定位精度的提升贡献巨大。

4.4 数据增强组合拳和Mosaic的坑

数据增强我用了两套方案。离线增强主要是随机裁剪、HSV扰动、随机光照变化；在线增强包括Mosaic、MixUp、随机擦除、运动模糊，这类增强在训练时动态生成，不占额外存储。

针对手势任务我额外加了两个特殊增强：随机旋转（手没有天然的方向，竖着拍和横着拍都算正样本）和随机缩放（模拟不同距离下的手部大小）。这两个增强对泛化能力的提升非常显著，尤其是随机缩放，直接补上了"远距离小手掌"的样本缺口。

但这里有个坑必须说：Mosaic的开启比例不能太高。YOLOv11默认训练流程里Mosaic比例很高，它在通用检测数据集上表现很好，但在手势数据集上，Mosaic会把小手掌图像切碎拼接，导致大量"残手"样本，模型反而学会了检测碎片化的手掌轮廓。我的做法是训练前中期Mosaic比例设为0.5，最后30轮完全关闭Mosaic并微调，这样既能吃到Mosaic的多样性收益，又避免了小目标信息被过度破坏。

5. 训练配置与调参：从loss曲线到mAP的实战记录

5.1 模型配置文件改了哪些东西

模型结构改动集中体现在配置文件中。默认的YOLOv11配置是nc=80的COCO分类，我改成nc=6。Backbone部分，我在第三个Stage和第四个Stage的输出后面各接了一个CAA模块，通道数跟随对应Stage的隐藏层深度。Neck部分，把默认的拼接融合方式替换成HSFPN的加权融合结构，同时增加了语义指导分支。

这里需要强调一个工程细节：改了模型结构之后，不要直接沿用官方预训练权重。预训练权重的层结构和你改过的模型对不上，强行加载会报错或者导致权重错位。我先把新增模块的参数随机初始化，其余部分保留官方权重，用较小的学习率先训练20轮让新增模块适应，再恢复正常学习率继续训练。这个策略让我省掉了从零训练的大量时间。

5.2 训练超参数

最终稳定复现的训练配置如下：

为什么不直接用默认训练参数？默认参数是针对COCO这类大类别数、大尺度变化的数据集调出来的。手势任务只有6类，类间差异小，用默认学习率训练特别容易在类别损失上震荡。我试过把初始学习率提到0.02，Box Loss还能正常下降，Cls Loss直接开始漂移，说明6分类这种低复杂度任务确实需要更温和的优化参数。

5.3 loss曲线怎么看

训练前50轮，Box Loss下降得非常快，这是Backbone预训练权重在正常发挥；Cls Loss下降却很慢，这个现象让团队里的新人一度很焦虑。其实很正常——6类手势太相似，网络前50轮主要是在"回答有没有手"，还没到"这是哪根手指"的阶段。

训练到大约120轮到140轮之间，我遇到过一次mAP突然掉下去又弹上来的抖动。排查后确认不是模型退化，而是学习率在余弦退火的某个阶段跨度过大，触发了暂时的震荡。解决办法是调整退火的t参数，让后半段学习率衰减更平滑。如果你在训练自己数据集时也遇到mAP中段突然下跌，先别急着换模型，看一眼是不是学习率曲线的问题。

5.4 最终指标对比表

整个改版过程我用相同的训练配置和数据跑了三组对照，结果如下：

可以看到，小目标AP的涨幅远大于整体mAP50的涨幅，说明CAA和HSFPN的组合主要解决的就是小目标响应不足的问题。FPS从92降到68，对我来说可以接受，毕竟实时交互的下限一般是30，还有很大余量。

6. 我踩过的坑：从漏检到部署掉帧的完整排查记录

6.1 小手指区域漏检排查记

第一轮完整训练出来的模型，其他指标都还行，唯独"手掌占比小于3%"的小目标几乎全部漏检。我先看Backbone特征可视化，发现小手掌在高层特征上几乎没有激活，只有中间层还有响应。进一步对照HSFPN输出，发现P3层其实能检测到目标，但置信度被压得很低。

逐层排查后定位到根因：CAA里的全局上下文分支在平滑背景下生成了一个很强的全局权重，当目标区域像素很少时，局部响应被全局均值"稀释"了。说白了，注意力图太"平"，没有在小目标位置形成明显的峰。修复方式是把注意力计算里加了temperature系数调大到2.5，让空间注意力的峰值更尖。同时增大了局部分支的深度卷积核，从3×3换成5×5，让局部细节提取范围更大一些。修复后，小目标AP直接从63飙到79。

这轮排查最值钱的结论是：注意力模块不是加了就完事，它的"注意力强度"需要针对你的目标尺寸分布单独校准。对小目标任务，注意力图宁可"锐利"也不宜"平滑"。

6.2 数字1和数字2互相混淆

第二头疼的问题是数字1和数字2的混淆。从混淆矩阵看，数字1被误判成数字2的比例约8%，数字2被误判成数字1约6%。这个程度在六分类任务里已经非常离谱。

排查过程分了三步。第一步复查数据，发现大量数字2样本里手指是并拢的，视觉上和数字1几乎一样；补充采集了1000张手指分叉角度刁钻的数字2样本后，混淆降到5%左右，但还是高。第二步，把分类损失从默认的BCE换成带难样本聚焦的变体，强制模型多关注那些"看起来像1的2"的样本，混淆进一步降到3%以下。第三步，是加了一层困难样本采样逻辑，每轮训练结束时统计当前批次的分类loss top-k样本，下一轮重复推送。最终稳定在2%以内。

这一步给我的经验是：相近手势的混淆问题，不能只靠模型结构解决，数据分布和损失函数都得配合调整，三条腿一起走才走得稳。

6.3 部署端精度下降

模型训练完转推理引擎部署时，又出了新问题：mAP50-95在训练集上78.5，转成ONNX再转推理引擎之后只有77左右，个别单张测试图甚至出现完全检测错误。第一反应是量化精度损失，后来排查才发现一半以上的问题出在预处理不一致。

训练时的预处理是letterbox缩放+归一化，部署端如果只做了resize，长宽比就变了，目标框投影过去全是歪的。修正预处理脚本后，精度恢复到78.1。剩下0.4的差距来自推理引擎的算子融合和精度设置，我把敏感层保留高精度表示，其他层用低精度量化，最终差距压缩到0.2以内，完全可用。

6.4 重做一遍我会怎么优化流程

整个项目做下来，如果再给我一次机会，我会调整流程顺序：先花三天把数据分布分析透，统计不同尺寸、不同遮挡程度样本的占比，再决定模型结构要不要改、改哪里。前期不厌其烦地检查数据，比中期摸索改模型结构省时间得多。

还有一条铁律：每次只改一个变量。加CAA和加HSFPN必须分开验证，混淆矩阵和尺寸分桶AP都要记录，不然你永远不知道是哪个模块在小目标上起了作用。

最后分享一个小技巧：改版迭代期间，我建立了一个500张的最小验证集，每轮只训练20个epoch就能看出大概趋势，用这个快速筛选结构方案，最终方案确定后再跑完整训练。这个流程让整个改版周期缩短了将近一半。如果你打算复现这套YOLOv11改进方案，强烈建议先搭一个类似的小验证集，把CAA的插入位置和HSFPN的融合权重初始化方式都跑一遍对比，再投入全量训练，会省下大量等待时间。