SENetV2聚合稠密层：提升YOLO26目标检测的通道注意力改进实践

这阵子手头一直在折腾YOLO系列的改进，注意力机制算是绕不开的一个坑。从早期的SENet、CBAM到后来的EMA、SimAM，各家都说自己效果好，真到自己往上加的时候才发现，不是模块不够强，而是模块和检测任务本身的契合度问题。前几天在某个项目里试了一个思路——SENetV2聚合稠密层，把原来SENet里那套全连接压缩的结构换成了多分支密集层，顺手塞进YOLO26的Backbone和Neck里跑了几个实验。一个直观的感觉是：这个改法不像某些注意力机制那样只涨参数不涨点，它对小目标和遮挡目标的提升相当明显，尤其是全局特征的表征能力，确实比原版SENet那种“压缩-激励-缩放”的套路扎实很多。

这篇文章就把完整的思路和踩坑记录整理出来，包括聚合稠密层到底怎么设计、多分支结构怎么和密集连接配合、特征校准机制怎么改才不破坏YOLO26原本的梯度流，以及在训练过程中遇到的那些“表面上看着合理、实际上一跑就崩”的问题。适合正在做YOLO系列改进、目标检测算法调优的读者，包括准备写论文或者打比赛的，应该都能直接拿去用。

1. 先搞清楚SENet的老毛病：为什么单纯加通道注意力已经不够用

1.1 从SENet到SENetV2：注意力机制演进的底层逻辑

原始SENet的核心思路，用一句话说就是：让网络学会“自动判断哪些通道重要”。具体来说，Squeeze阶段通过全局平均池化把每个通道的空间信息压成一个数值，Excitation阶段用两个全连接层加上sigmoid生成一个0到1之间的通道权重，最后Scale阶段把这个权重乘回原来的特征图。这个设计在当年是很巧妙的，它用极小的计算代价让网络具备了一种“全局视野”，能知道每个通道在整张图上的响应强度。

但问题也出在这个“巧妙”上。全连接层的参数量是固定的，一旦特征图的通道数定了，两层FC的参数就得跟着变大。拿YOLO26的Backbone来算，C3k2模块输出的通道数普遍在256到512之间，两个FC核下来参数增量相当可观，而且全连接层本质上是在做一个“先压缩再恢复”的信息瓶颈，压缩过程中不可避免地会丢掉部分通道间的非线性关系。

SENetV2的出发点就是打破这个瓶颈。思路很直接：既然全连接层是瓶颈，那就不要用全连接；既然单一路径提取的全局特征不够丰富，那就用多分支并行去捕捉不同粒度的通道关系；既然单纯靠平均池化感受全局信息有偏，那就把最大池化、平均池化和多尺度卷积组合到一起。聚合稠密层就是在这个逻辑下设计出来的——它不是某个单一的注意力算子，而是一个把“多分支特征提取”和“密集连接”组合起来的融合模块。

1.2 通道注意力的核心短板：池化过于粗糙、压缩带来信息损耗

我在实际测试中明显感觉到，原版SENet对空间信息的敏感度很差。原因在于全局平均池化太“粗暴”了，它把整个特征图的响应全部加起来取平均，相当于把空间维度的位置信息彻底抹平。在目标检测任务里，目标往往只占图像的一小部分区域，全局平均池化会把小目标那点微弱响应淹没在背景的大量平均值里。

用生活里的例子类比一下。平均池化就像你问一群人“今天过得怎么样”，所有人一起回答，最后你只记得一个模糊的“还行”——个别遇到特好事的、特倒霉的声音全被平均掉了。最大池化则是只听一个人说话，这个人嗓门最大，但他的情况不一定代表整体。SENet这两者只用了前者，等于把最有辨识度的信息主动丢掉了。

这带来的直接后果就是：通道权重只反映“整体平均活跃度”，无法反映“哪个区域更值得关注”。YOLO26本身是有SPPF和PANet这种多尺度结构的，但这种尺度信息是空间层面的，通道层面依然缺少对“局部显著区域”的感知。SENetV2在全局表示上做文章，本质上是要把这个问题补上。

2. 聚合稠密层的设计拆解：多分支、密集连接、校准机制三件套

2.1 多分支结构：用不同感受野并行捕捉通道关系

聚合稠密层的第一个核心模块是多分支并行结构。我给这个模块设计了三条分支，每一条都不是随便堆出来的，而是对应一类特征关系。

第一条分支是1x1卷积，负责捕捉通道间的线性相关关系。这条分支的计算量最小，作用相当于一个可学习的通道投影矩阵，能够快速建立通道之间的浅层关联。第二条分支是3x3卷积搭配空洞卷积，空洞率设为2，这条分支的感受野比1x1大得多，能够看到空间位置上跨度更大的区域，从而建立“远处像素之间的通道呼应关系”。第三条分支接的是全局最大池化加1x1卷积，它的任务是捕捉全图范围内最显著的那个响应，相当于给后面的校准模块提供“最响亮的那个声音”作为参照。

这三条分支的输出在通道维度上拼接在一起，然后用一个1x1卷积做融合压缩。这一通操作下来，通道维度上保留了三种尺度的信息：全局平均的信息、局部多尺度的信息、全局最显著的信息。相比原版SENet只用全局平均池化，这个多分支结构的信息完备性高了好几个档次。

2.2 密集连接与特征复用：让信息在多层之间充分流动

多分支结构解决的是“当前层提取的特征不够丰富”的问题，密集连接解决的则是“深层信息在传递过程中逐渐损耗”的问题。

这个模块取名“稠密层”是有讲究的。在DenseNet被广泛验证的结论里，密集连接能让每一层都直接拿到前面所有层的特征，梯度回传路径极短，训练更稳。把这个思想搬到注意力模块里，就是说聚合稠密层不是一个孤立的块，而是每一分支的输出除了参与最终融合，还作为额外输入送到下一个注意力模块的对应分支里。我在实现上参考了这个思路，但做了一点轻量化处理——不是把前面所有层的输出全部cat到一起，那样特征图会膨胀得很厉害，而是用了一个残差式的稠密连接：每个分支的输入包含前一个分支的输出，形成一条逐级传递的“链式密集路径”。

这样设计的好处有两个。一是特征复用率高，浅层分支提取到的通道关系不会因为后续变换而丢失，能一路传递到最终的权重生成阶段。二是梯度流更加顺畅，即使网络很深，梯度也能沿着密集连接的短路径直接回传到前面几层，减少深层网络常见的梯度衰减问题。实际训练中也能看到，加了稠密连接之后收敛速度比不加的情况快大约15%到20%。

2.3 特征校准机制：从固定权重到动态门控响应

校准机制是整个模块的收尾阶段，决定了前面辛辛苦苦聚合出来的特征怎么转化为最终的通道权重。原版SENet的校准就是sigmoid，两个FC之后接一个sigmoid把输出压到0到1之间，然后乘回去。SENetV2在这里做了两处改动。

第一处改动是用softmax替代sigmoid。原因在于sigmoid是对每个通道独立做映射，通道与通道之间互不影响，而softmax会在所有通道之间做归一化，相当于强制让通道权重形成一个竞争性分布。这样能突出关键通道、抑制冗余通道，而不是大家各管各的。第二处改动是在生成权重之前，把多分支融合输出的结果再经过一个分组卷积做一次通道重排，让相邻通道之间的信息能够交互。分组卷积的分组数我试过8和16，最终选择16，因为分组数越大通道间交互越充分，但参数增量基本可以忽略。

经过这两步之后，生成的通道权重不是简单地“全图统一”，而是带有空间感知能力的动态门控响应。对这个词可以这么理解：权重不再是每个通道一个固定标量，而是会根据输入特征的内容动态调整，同样的通道在不同图像上可以获得不同权重。这一改动对检测任务的价值在于，模型能够根据具体场景动态决定关注什么类型的特征——在检测行人时提高对轮廓通道的权重，在检测车辆时提高对纹理通道的权重。

3. 在YOLO26里的工程落地：模块实现与插入位置

3.1 核心模块代码实现（PyTorch）

直接用代码说话，这是我经过多轮实验后确定的实现版本，对这个模块的输入输出尺寸做了原生的适配，可以无缝凑进YOLO26的Backbone或者Neck里，不需要额外改其他结构。

import torch import torch.nn as nn class DenseAggregationLayer(nn.Module): def __init__(self, in_channels, reduction=16, groups=16): super().__init__() # 分支1：1x1卷积，捕捉通道间的线性关系 self.branch1 = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // reduction, 1, bias=False), nn.BatchNorm2d(in_channels // reduction), nn.ReLU(inplace=True) ) # 分支2：3x3空洞卷积，捕捉多尺度空间上下文 self.branch2 = nn.Sequential( nn.Conv2d(in_channels, in_channels // reduction, 3, padding=2, dilation=2, groups=groups, bias=False), nn.BatchNorm2d(in_channels // reduction), nn.ReLU(inplace=True) ) # 分支3：全局最大池化分支，捕捉最显著响应 self.branch3 = nn.Sequential( nn.AdaptiveMaxPool2d(1), nn.Conv2d(in_channels, in_channels // reduction, 1, bias=False), nn.BatchNorm2d(in_channels // reduction), nn.ReLU(inplace=True) ) # 融合压缩 self.fuse = nn.Sequential( nn.Conv2d(in_channels // reduction * 3, in_channels, 1, bias=False), nn.BatchNorm2d(in_channels) ) # 权重生成：分组卷积 + softmax 校准 self.gate = nn.Sequential( nn.Conv2d(in_channels, in_channels, 1, groups=groups, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.shape branch1_out = self.branch1(x) branch2_out = self.branch2(x) branch3_out = self.branch3(x) # 多分支特征拼接 fused = torch.cat([branch1_out, branch2_out, branch3_out], dim=1) fused = self.fuse(fused) # 生成通道校准权重 gate = self.gate(fused) # 先对x做全局AvgPool得到29权重的基准 # 残差式的稠密连接：x与门控后的特征做跳连 y = x * gate return x + y

提示：这个实现里用了一个残差连接让注意力模块在初始状态下近似恒等映射，实验表明这样能有效防止训练早期的震荡。如果你不想保留残差分支，直接在return地方改成x * gate也可以，但训练初期Loss可能比原版模型高不少，需要降低学习率来稳。

3.2 插入位置选择：Backbone、Neck还是Detect前？

模块写好了，往哪里插是个讲究活。我前前后后试了三种插法，结论差异挺大。

第一种是插在Backbone每个C3k2模块之后。这样做的好处是浅层特征从一开始就被通道注意力校准过，后续特征提取都在“有注意力引导”的语义空间里进行。缺点是计算开销大，因为浅层特征图分辨率高，每个位置上的通道注意力计算量也大，尤其是branch2那个3x3空洞卷积，跑起来显存占用会明显上涨。实测下来，在输入640x640的情况下，全Backbone插满会把显存占用从8.1GB推到9.6GB左右。

第二种是插在Neck的上采样和下采样之后。Neck部分特征图尺寸与Backbone高层一致，但通道数相对较少，算力开销可控。我把模块插在FPN每个上采样之后和PAN每个下采样之前各放置一个，总共加装4个。这种做法的收益是提升多尺度特征的融合质量，因为上采样特征和下采样特征在融合前都经过了一次通道重标定，减少了对齐时的信息冲突。

第三种是插在Detect头前面的三个输出特征层之前，也就是P3、P4、P5三路输出的末端。这个位置的改动对检测头的感知影响最直接，因为所有经过前面提取、融合的特征在进入分类和回归分支之前，都会先被注意力权重重新校准一次。但这个位置的收益与第二个位置有些重叠，两个都加的话提升并不叠加，反而增加了推理延迟。

我在最终方案里采用的是前两种的组合——Backbone的C3k2后隔一个层级插一个，Neck每个上采样后插一个，总共5个模块。这样既保证了浅层有注意力引导，又保证了多尺度融合的质量。第三种Detect前的插法，我放到后面的对比实验里单独测了一版数据，也有参考价值。

3.3 训练配置与超参数：怎么设才不白改

注意力模块的训练和普通卷积不太一样，直接一套常规参数往上套，很容易出现Loss前期居高不下的问题。我的项目里用的是YOLO26官方预训练权重作为起点，输入分辨率640x640，批大小16，优化器用SGD，初试学习率0.01，余弦退火调度，总共训练100个epoch。

关键点在于分段训练。前25个epoch我冻结了Backbone的权重，只训练Neck和Detect头以及新增的注意力模块。这样做的原因是：注意力模块的初始权重是随机初始化的，梯度方向还很不稳定，如果让它直接作用于Backbone的梯度回传，很可能把预训练好的Backbone特征带偏。冻结阶段结束后，解冻全部网络再训练75个epoch，这一阶段学习率降到0.005，让注意力模块逐步与Backbone的特征表达适配。

另有一个容易被忽略的参数是weight_decay。默认的0.0005对注意力模块来说偏大，因为注意力权重本身数值都在0到1之间，过于强的L2正则会把权重压得过于接近0，导致门控失效。我把它调到了0.0001，实验结果显示训练出的模型在验证集上的CLS Loss更低，说明权重的表达空间更充分了。

数据增强方面，我保留了YOLO26默认的Mosaic、MixUp和随机仿射变换，但把Mosaic的概率从1.0降到了0.6。原因是在注意力机制的影响下，模型对目标上下文有更高的依赖，Mosaic把一张图拼成四张，会人为制造一些不自然的边界，干扰注意力对全局表示的建模。降概率之后，整体收敛更平稳。

4. 实验效果与评测：涨点幅度、参数增量和可视化分析

4.1 不同插入位置的对比实验

为了说明哪部分改动真正起了作用，我把不同插入位置跑成了对照组，统一训练100个epoch，在同一个自建车辆检测数据集上评测，该数据集包含白天、夜间、雨天三个场景，共12000张图，测试集1500张。

从表里可以明显看出，只插Backbone或只插Neck的收益接近，而Backbone+Neck组合的收益是接近两者之和的，说明通道注意力在两个位置上的作用机制是互补的——Backbone提升特征提取质量，Neck提升融合质量。全结构插入的收益则微乎其微，却带来了超过1毫秒的额外耗时，性价比非常低，最终不建议使用。

推理耗时方面，加了5个SENetV2模块后，在单张3090上从12.8ms涨到16.9ms，增幅约32%。这个代价在网络改进里偏大，但如果你的任务对精度要求高于速度，这个trade-off是完全可以接受的。如果更倾向轻量化，可以把reduction从16改成32，牺牲约0.8个百分点的mAP，推理耗时能压回15秒以内。

4.2 可视化分析：注意力到底在关注什么

涨点数据之外，我更关心模型到底学到了什么。我把最后一层注意力模块的权重做了热力图可视化，把输入图片经过Backbone后得到的特征图与通道权重相乘前后的差异展示出来。

从可视化结果看，有一个非常明显的规律：加入SENetV2之后，网络在夜间场景中对车灯区域的响应显著增强。原始YOLO26在夜间的特征图响应分布比较散乱，车灯虽然亮了但周围的暗部区域响应也很杂。而加了注意力之后，权重热力图集中在车灯、车牌、车身边缘这些关键位置，背景的暗部响应被明显压低。这说明特征校准机制确实帮助网络把“该看的地方”突出出来了。

在小目标方面也有可观察到的变化。原始YOLO26对画面中较小的行人往往响应较弱，特征图上目标位置只有极低幅度的激活。聚合稠密层里的多尺度分支在这个场景下提供了明显的补偿——3x3空洞卷积带来的大感受野让网络检测到了小目标周围的上下文线索，最终通道权重会抬升目标区域的响应强度。直观来看，小目标的检测率在mAP统计里从51.3%提升到了54.7%。

还有一个实验现象值得说：SENetV2对遮挡目标的改善比原版SENet更明显。原版SENet在对被遮挡车辆的特征进行校准后，遮挡区域的通道权重普遍下降，因为被遮挡部分的特征响应本身就不强。而SENetV2因为有最大池化分支提供全局显著响应，理论上是独立的参考源，即使平均池化的输出被遮挡区域压低了，最大池化分支仍然能捕捉到没有被完全遮挡的部分，从而保住这些位置的注意力权重。

5. 踩坑记录与排查技巧：三个最容易翻车的地方

5.1 常见问题速查表

实际操作中遇到不少问题，有些一开始完全摸不着头脑，后面一步步排查才定位到原因。整理成一张速查表，按频率排序，应该能帮你省下排查时间。

5.2 为什么要控制分支数量：三个分支是最优解

我刚开始设计这个模块的时候，参考过Inception那种“四分支、五分支”的做法，加了一个5x5卷积分支。理论上分支越多特征越丰富，但跑下来的实验结果很打脸：四分支版本的mAP反而比三分支低了0.2个点。

原因分析下来有两层。一是YOLO26本身的通道数有限，分支多了之后每个分支分到的通道维度太少，反而提取不到足够有效的特征。二是多分支的特征在拼接后需要用一个1x1卷积融合，分支数量越多，融合卷积的参数量越涨，而训练数据没有多到能把这些参数充分拟合的程度，过拟合在后期就显现出来了。

所以三个分支不是随便定的，它是“信息丰富度”和“参数量可控”之间的一个平衡点。1x1分支保底、空洞卷积分支扩展感受野、最大池化分支引入全局显著响应，三者各司其职，没有冗余。如果目标域非常复杂，想加分支，我的建议是优先加“局部纹理分支”，也就是3x3普通卷积，而不是继续加更大感受野的分支。

5.3 密集连接的尺度问题：跨尺度连接比同尺度连接更有效

这是我在实现过程中一个偶然的发现。最初的密集连接设计是在同一个注意力模块内部做链式连接，就是每个分支输入前一个分支的输出。后来为了测试需要，我把不同位置的两个注意力模块做了连接——把Backbone P4层的输出特征也拼接到了Neck P5层注意力模块的输入里。

这个跨尺度连接的实验效果出乎意料，mAP又涨了0.4个点。仔细想了一下原因，P4层的特征图分辨率是P5的两倍，包含更多空间细节信息，而P5层特征图的语义信息更强，两者在注意力模块里做了跨尺度融合后，相当于在生成通道权重时同时参考了“细节视图”和“语义视图”。这个机制有点类似FPN的思想，但在通道注意力这个维度上去做跨尺度交互，应用的人确实不多。

不过跨尺度连接也带来一个代价：不同尺度特征图的对齐需要额外的resize或padding操作，实现起来稍显繁琐。而且这个连接的实现方式不能是简单的F.interpolate，需要在拼接前对特征图做1x1卷积统一通道数，否则不同层的通道数不匹配。这些小细节在实际工程里踩了两次坑才理顺。

6. 最后说点个人的实操体会

从整个项目做完之后的视角回头看，SENetV2聚合稠密层这个改进思路，本质上是要解决一个核心矛盾：注意力机制如何在不大量增加参数的前提下，获取更丰富的全局信息。多分支结构提供了信息丰富度，密集连接保证了信息流通，softmax校准机制让通道权重具备竞争性。三者缺一不可。

我的实际使用建议是：如果你做的任务偏向小目标检测或者夜间场景，这个模块的收益会相当可观，值得完整复现；如果是纯速度优先的轻量化任务，建议只用Neck部分的插入方案，reduction调大，推理耗时增加可以控制在8%以内。另外，不要迷信“插得越多越好”，我的实验数据已经说明，模块数量超过5个之后收益边际递减非常严重。

代码层面还有一个小技巧：如果训练显存吃紧，可以在forward里把branch2的空洞卷积换成nn.Conv2d(..., dilation=1)，精度损失大概在0.3到0.5个mAP点，但显存占用直接少掉将近10%，在打比赛或者做快速验证的时候很有用。

后续如果要在这个基础上继续扩展，我认为最值得尝试的方向是把空间注意力也加进来，和这个通道注意力模块做成并联结构。我在实验日志里简单跑过一个并联版本，潜在收益是有的，但细节还没调到位，等有结论了再整理出来。