SENet与SE Block通道注意力：原理、实现与部署避坑

做视觉的这几年，你随手翻一个开源检测库的 backbone 配置，大概率能看到se_block: True这么一个开关。它不像 Transformer 那样喧宾夺主，也不像某些花哨的注意力模块需要十几行公式才能说清，但只要在残差块里塞进二十来行代码，ImageNet 上的 top-1 往往就能稳稳拿回一个点。SENet（Squeeze-and-Excitation Networks）这篇论文拿下了 2017 年 ImageNet 分类任务的第一名，2018 年正式发表在 CVPR，到现在依然是几乎所有"涨点小模块"对比实验里绕不开的那条基线。它讲的事情其实非常朴素：卷积核在通道维度上是"一视同仁"的，而 SE Block 就是给每个通道配一个动态的旋钮，让网络自己决定当前这张图里哪些通道该放大、哪些该压掉。

这篇内容我打算按"为什么这么设计、怎么落地实现、实验里哪些结论是真的、工程里会踩什么坑"四条线来拆。适合三类人看：刚读完论文但对公式背后动机还是一团雾的同学；想把 SE 加到自己的检测、分割、超分模型上却不确定插入位置和 reduction 取值的人；还有一类是从分类任务转到端上部署，发现 FLOPs 只涨了 0.26% 但推理就是慢了一截，想找原因的人。后面我会给出可直接抄的 PyTorch 实现、参数手算过程、消融实验的读法，以及我在实际项目里踩过的几个坑，包括那个会让程序静默失效的通道数问题。

1. 先把问题说透：卷积网络为什么需要通道注意力

1.1 一个卷积层到底在做什么混合

要理解 SE，得先把标准卷积拆开看。假设输入特征图是C_in × H × W，一个3×3卷积核的输出某一个通道，是把输入所有C_in个通道在3×3邻域内的值加权求和。也就是说，一次卷积同时干了两件事：在空间维度上做局部聚合，在通道维度上做线性组合。这两件事是被绑死在一个静态权重张量里的，训练完之后就固定了，跟输入是什么图片完全无关。

这就带来一个很自然的问题：一张全是天空的图和一张挤满人群的图，网络难道应该用同一套通道权重去处理吗？显然不应该。理想的卷积应该能根据当前输入的内容，动态调整各通道的贡献比例。RNN 里有门控，LSTM 用遗忘门、输入门控制信息流，卷积网络里却长期没有类似的机制。

1.2 静态权重带来的三个盲区

我把这个问题归纳成三条。第一条是输入无关性：卷积核学到的通道权重是全局共享的常量，模型无法针对单张图做自适应调整，而分类、检测这类任务的判别信息恰恰高度依赖具体样本。第二条是感受野受限：一个3×3卷积只看得到局部邻域，虽然堆叠层数能把有效感受野做大，但浅层特征的通道关系仍然是在很小的空间范围内被决定的，缺少全局上下文。第三条是通道间关系只能被隐式学习：通道之间的重要性排序，理论上应该由网络自己判断，但标准卷积把这件事交给了一个线性组合矩阵，它既没有显式的"打分"过程，也缺少非线性的调节手段。

提示：论文的出发点不是"卷积不够强"，而是"卷积缺少一个便宜的、能看全局的自适应调节环节"。理解这一点很关键，因为后面所有设计选择都是在"够便宜"这个约束下做出来的。

1.3 SE 的最小改动哲学

SENet 的聪明之处在于它没有动主干。卷积层照旧，BN 照旧，残差连接照旧，只是在一个 block 的输出后面挂了一个极小的旁路：把每个通道压成一个标量，用两层全连接算出权重，再乘回原特征。整个模块没有任何空间上的卷积，参数量只有2C²/r这个量级，对 ResNet-50 来说总共才 250 万参数。

这种"插件式"设计带来的工程价值极高：你不需要重新设计网络结构，不需要重新调学习率策略，甚至不需要改变数据增强流程，只要把 backbone 里的Bottleneck换成一个带 SE 的版本，加载原有权重（跳过 SE 部分），再微调一轮就能拿到收益。这也是它能迅速铺开、被无数下游任务当成默认配置的根本原因。

2. SE Block 的整体设计：三步走的通道重标定

2.1 Squeeze：为什么必须是全局平均池化

第一步叫 Squeeze，把一个C × H × W的特征图压成C × 1 × 1。具体做法是对每个通道做全局平均池化：把该通道所有空间位置的响应值加起来取平均，得到一个代表该通道整体响应的标量。

为什么是平均而不是别的？因为这一步的目标是把"这个通道在这张图上有多活跃"用一个数概括出来。平均池化相当于一次空间维度的信息聚合，它天然具备平移不变性，无论目标出现在左上角还是右下角，只要响应总量差不多，池化结果就差不多。同时它把后续的 Excitation 计算量压到了跟输入分辨率完全无关的程度——224×224和512×512的输入，这一步的 FLOPs 差别只在池化本身，FC 部分的开销一模一样。

论文里也试过全局最大池化，效果略差。我的理解是：平均值反映的是"整体响应强度"，最大值只反映"最强的那一个点"，对于通道重要性的判断，前者噪声更小、更鲁棒。在一些极端场景（比如目标面积极小、其他位置全是背景响应）里，最大池化其实更敏感，但平均池化在统计意义上是更稳的选择。

2.2 Excitation：降维再升维的瓶颈结构

第二步是核心。拿到C维的通道描述向量后，先降维到C/r，过一个 ReLU，再升维回C，最后过一个 Sigmoid 把权重压到(0,1)区间。r 就是论文里反复提到的 reduction ratio，默认取 16。

这里有两个设计决策值得拆。第一个是为什么要降维。如果直接用一层C→C的全连接，参数量是C²，对C=2048来说单块就是 400 多万参数，整个网络下来要爆。降维到C/r后参数量变成2C²/r，等于省了r/2倍。第二个是为什么要升维再降回来，而不是干脆只用一个线性层：瓶颈结构本身就起到了正则和限制模型容量的作用，中间的 ReLU 引入了非线性，让门控函数不再只是一个线性投影。论文里也试过用单层 FC、或者用更复杂的多层结构，结论是瓶颈 + 一层隐藏层的组合在精度和参数量之间最划算，继续加深反而没有收益。

注意：这里的降维-升维是通道维度上的操作，跟空间维度完全无关。很多人第一次看图会误以为是先做空间下采样，其实 Squeeze 已经把空间维度干掉了，后面全是在一个长度等于通道数的一维向量上操作。

2.3 Scale：逐通道乘法，为什么不做 softmax

第三步最简单：把算出来的C个权重，逐通道乘回原特征图。x_c ← s_c · x_c。

必须要说明的一点是，这里用的是独立的 Sigmoid，而不是在整个通道维度上做 Softmax。原因是 Softmax 强制所有通道权重之和为 1，等于强迫网络做"资源再分配"，放大某些通道必然压缩另一些通道，是一种零和的竞争关系。而实际上一张图里可能有多个通道同时都很重要（比如既有纹理又有边缘），这时候我们希望它们能同时被增强。Sigmoid 允许所有通道一起被放大或被抑制，只约束取值范围，不约束总和，这在语义上更符合"每个通道独立打分"的直觉。

2.4 公式与张量形状对照

把三步合起来就是论文里的三个式子：

• u_c = v_c * X，标准卷积输出
• z_c = (1/(H·W)) · ΣΣ u_c(i,j)，Squeeze
• s = σ(W₂ · δ(W₁ · z))，Excitation
• x̃_c = s_c · u_c，Scale

对应的张量形状变化我用表格列一遍，对照着看最清楚：

3. 网络改造实操：把 SE 塞进 ResNet 与 Inception

3.1 插入位置：残差分支上还是加法之后

这个问题在社区里被问得极多。论文 Figure 2 给出的 SE-ResNet 模块里，SE 挂在残差分支的最后一个 BN 之后、与 identity 相加之前。也就是说，门控只作用于"卷积学出来的那部分增量"，跳跃连接本身不参与重标定。

如果放到加法之后，效果会略有差别：门控同时影响了 conv 分支和 identity 分支的输出，浅层时 identity 分支承担着信息高速通道的作用，被一起乘上权重等于给整个 block 输出打了折扣。实测下来两种写法在 ImageNet 上差距很小，通常在一个千分点以内，但按论文原版来更稳妥，复现结果也更好对齐。我在检测任务上两种都试过，backbone 用加法后插入，mAP 也能正常涨，但训练早期的 loss 曲线抖动更明显一些。

还有一个细节：SE 前面那个卷积后面有没有 BN。标准做法是conv → BN之后接 SE，此时特征已经被归一化到比较稳定的分布，门控学起来更容易。如果你把 SE 放在 BN 之前，输入尺度随训练波动，Sigmoid 很容易在一开始就饱和到 0 或 1，训练会变慢。

3.2 代码实现：二十行的 SEBlock

下面这个版本我建议直接用1×1 Conv2d而不是Linear，原因写在代码后面的注释里。

import torch import torch.nn as nn class SEBlock(nn.Module): """通道注意力：Squeeze -> Excitation -> Scale""" def __init__(self, channels, reduction=16): super().__init__() hidden = max(channels // reduction, 1) # 关键：下限保护 self.avgpool = nn.AdaptiveAvgPool2d(1) self.fc1 = nn.Conv2d(channels, hidden, 1, bias=False) self.fc2 = nn.Conv2d(hidden, channels, 1, bias=False) self.act = nn.ReLU(inplace=True) self.gate = nn.Sigmoid() def forward(self, x): s = self.avgpool(x) # B,C,1,1 s = self.fc2(self.act(self.fc1(s))) s = self.gate(s) # B,C,1,1 return x * s # 广播逐通道相乘

用Conv2d(kernel_size=1)而不是Linear有三个好处。第一是省掉view(b, c)这一步，代码在 ONNX 导出时不会绑定 batch 维度，动态 batch 可以直接过，而view会让导出图里出现硬编码的 reshape。第二是对channels_last内存格式友好，Linear需要先把张量转成连续的一维，会多一次内存搬运。第三是代码里不需要关心输入是 4D 还是 5D（视频类任务），只要池化维度对得上就行。

bias=False也值得一提。Squeeze 之后的值是一个均值，紧接着的 1×1 卷积加不加偏置影响极小，关掉可以省参数。但如果你想要下面要讲的门控初始化技巧，第二个 FC 就得留 bias。

3.3 参数与算力账：250 万到底从哪来

论文里说 SE-ResNet-50 比 ResNet-50 多了约 250 万参数，增加幅度大约 10%，这个数字我建议你自己算一遍，印象会深很多。单个 SE 模块的参数是2·C·(C/r)，r=16 时等于C²/8。按 ResNet-50 的四个 stage 分别累加：

加起来正好约 2.51M，跟论文数字完全对得上。注意最后三个 stage 的贡献占了 99%，因为参数量是通道数的平方关系。这也解释了一个现象：如果你的网络通道数普遍不大（比如宽度只有 0.5 倍），SE 带来的参数增长会小很多，但如果通道数上千，SE 的参数就不能忽略了。

FLOPs 那一侧则是另一回事。SE 的计算量跟空间尺寸有关（池化和逐通道乘法都要扫一遍特征图），但卷积部分的计算量是C²·H·W·k²量级，SE 只是C²/r·H·W量级，差了一个k²·r倍。所以论文给出的 GFLOPs 从 3.86 涨到 3.87，增幅不到 1%。

3.4 从 ResNet-50 迁移到 SE-ResNet-50 的改造清单

实际改造时按这个顺序走，不容易出错：

1. 复制一份 Bottleneck 实现，改名SEBottleneck，其余逻辑一字不改。
2. 在bn3之后、downsample相加之前插入self.se = SEBlock(planes * 4, reduction)。
3. forward里把out = self.bn3(self.conv3(out))改成out = self.se(self.bn3(self.conv3(out)))。
4. 加载预训练权重时用strict=False，让 SE 部分的 key 缺失，打印缺失列表确认只有 SE 参数。
5. 先冻结主干训练 1 到 2 个 epoch 让 SE 分支跟上，再全量微调。

第五步是我自己的习惯，不是论文要求。新加的 SE 分支初始状态下门控接近 0.5（默认初始化下 Sigmoid 输入接近 0），相当于把特征整体衰减一半，如果一上来就大学习率全量训练，早期梯度会有点乱。先冻结主干能让 SE 先适应已有的特征分布，收敛曲线会平滑不少。

4. 论文里的消融实验：哪些设计是真的有用

4.1 reduction ratio 的取值逻辑

r 是 SE 里唯一需要你手动决定的超参。论文对r ∈ {2, 4, 8, 16, 32}做了扫描，趋势是一个浅 U 形：r 太小时（比如 2），隐藏层维度很大，门控函数的自由度接近一个完整的通道混合矩阵，参数暴涨且容易过拟合，精度反而不如中等取值；r 从 4 增大到 16 的过程中精度稳步提升；继续增大到 32 甚至更大，瓶颈压得太狠，通道描述信息损失过多，精度开始回落。r=16 落在拐点上，是精度和开销的平衡点。

我的经验是别死守 16，要看你的通道宽度。判断标准很简单：保证隐藏维度不小于 8。如果一个 stage 的通道数是 64，r=16 得到隐藏维 4，信息瓶颈过窄，门控基本学不出有意义的区分度，这时候应该把 r 调到 8 或者 4。反过来，通道数 2048 的时候 r=32 也能跑得不错，参数还能省一半。

4.2 池化方式与激活函数的选择

除了 r，论文还对比了几个容易忽略的细节。池化方式上，全局平均池化优于全局最大池化，差距不大但稳定。激活函数上，Excitation 中间那层试过 ReLU、Tanh 等选项，ReLU 表现最好且计算最便宜；输出层必须是 Sigmoid，换成别的要么无法约束到(0,1)，要么失去独立打分的性质。

还有一个容易被忽略的对比：把 SE 换成"只用一层 FC 直接输出 C 维权重"。这个变体参数量反而更大（C²对比2C²/r），精度却没有优势。这个结果说明瓶颈结构不只是为了省参数，它本身也是一种有效的正则，强迫网络在一个低维空间里做通道重要性的判断，反而不容易过拟合到训练集的特定模式上。

4.3 插入密度：只在最后加够不够

论文对比了不同插入密度的效果。结论很明确：铺得越密，收益越稳。只在最后一个 stage 加 SE，能涨一点，但幅度明显小于全网络铺开。这个结论跟"浅层学通用特征、不需要通道注意力"的直觉是相反的——浅层的 SE 同样有用，只是它学到的东西跟深层不太一样，这一点在下一节展开。

不过工程上要打个折扣。如果你的模型已经很大、训练资源紧张，全网络铺 SE 会让训练时间增加（虽然 FLOPs 涨得少，但实际 wall-clock 时间会增加，原因见第 6 节）。折中方案是在 stage 3 和 stage 4 加，能拿到大部分收益，训练开销增加有限。我在一个分割任务上做过这个对比，只加后两个 stage 拿到约 0.8 个点 mIoU，全加是 1.1 个点，差距不算大。

4.4 与其他主干的组合效果

SE 是结构无关的，所以论文里除了 SE-ResNet 还做了 SE-Inception 和 SE-ResNeXt。三者的结论一致：加了 SE 都涨，而且是在原模型基础上"额外"涨，不是把参数堆到同等规模就能达到的效果。这一点很重要，因为如果只是加参数，那把网络加深或者加宽也能涨点，但论文的对比实验里，同等参数量下带 SE 的模型明显更好，说明收益来自结构本身而不是容量。

另外一个很有说服力的对比是：SE-ResNet-50 的精度已经接近甚至部分指标看齐深得多的 ResNet-101，而算力只有后者的一半左右。这个性价比才是 SE 真正的卖点——它不是靠堆资源换精度，是靠更有效地利用已有特征。

5. 论文里最容易被跳过的一节：SE 究竟学到了什么

5.1 通道响应的类别特异性随深度变化

论文有一节专门分析了 SE-ResNet-50 里各个 SE 模块输出的门控值分布。方法是把不同类别图片送进去，统计每个 SE 模块的激活分布。结论很有意思：浅层的 SE 门控对类别几乎不敏感，不管输入是狗还是飞机，激活分布的形状都差不多，它们更像是"通用特征放大器"，把纹理、边缘这类基础通道整体提亮；深层的 SE 门控则高度类别相关，不同类别对应的激活分布明显分开，这时候它才真正在做"针对这张图选择哪些语义通道"的事。

这个发现解释了为什么浅层也值得加 SE：浅层的门控虽然不区分类别，但它在做另一件事——根据图像的统计特性（亮度、对比度、纹理丰富程度）调节基础特征的强度，相当于一个自适应的归一化层。这也顺带说明，SE 不是单纯的"注意力"，它是一个从统计调节到语义选择逐步演化的机制。

5.2 涨点不是靠堆参数

很多人看到 SE 的第一反应是"多了 250 万参数，涨点是应该的"。论文其实正面回应了这个质疑。除了前面说的同等参数量对比，还有一个更直接的证据：把 SE 换成结构相同但不接全局信息的模块（比如把 Squeeze 去掉，让权重只依赖局部位置），参数量一样，涨点幅度大幅缩水。这说明收益的关键在于"全局信息"这个信息来源，而不是参数本身。

顺着这个逻辑还能推出一件事：SE 的全局平均池化实际上给每个通道开了一个覆盖整张图的感受野。一个3×3卷积命中单个像素，经过 Squeeze 之后，这个像素的信息会影响整个通道的门控值，等于把这个像素的"发言权"扩散到了全局。这是一种非常廉价的长距离依赖建模方式，比 self-attention 便宜几个数量级。

5.3 从 SENet 长出来的通道注意力家族

SENet 之后，通道注意力这条线被迅速扩展。有几个方向值得了解：

一是降低开销的思路。SE 里的降维再升维是为了控制参数，但后来有工作指出降维本身会损失通道信息，于是出现了用一维卷积直接在通道维上做交互、不做降维的变体（比如 ECA 那一类），参数量降到几乎可以忽略。

二是通道 + 空间联合的思路。既然通道可以打分，空间位置为什么不能打分？于是出现了串联通道注意力和空间注意力的模块（这类里最有名的是 CBAM），先算通道权重再算空间权重，两层相乘。

三是多分支选择的思路。不是给每个通道一个连续权重，而是用多个不同感受野的分支，让网络自己选择用哪个尺度（SKNet 那一类）。

这些后续工作各有取舍，但如果你只能记一个，我建议记住 SE 的定位：它是这个家族里最简单、最稳、最容易复现的那一个。新模块往往在自己的论文数据集上比 SE 高零点几个点，但你换到自己的任务上，SE 的方差通常更小。

6. 落地踩坑实录：六个真实会遇到的问题

6.1 通道数小于 reduction 时的静默失效

这是我见过的最高频问题。代码里写hidden = channels // reduction，如果某一层的通道数是 8，r=16，那8 // 16 = 0，你得到的是一个零维的卷积层。PyTorch 会直接报维度错误，还算好；更麻烦的是如果你写了max(..., 1)的保护，它会静默地变成一个C→1→C的极端瓶颈，门控退化成"所有通道共享同一个分数"，几乎没有任何表达能力，训练也不报错，你只会觉得"加了 SE 没涨点"然后放弃。

所以第一件事就是查一遍你所有插入 SE 的位置，把通道数打印出来，确认C/r >= 8。对小通道的层，要么单独指定更小的 r，要么干脆跳过不加。

6.2 固定尺寸池化导致的换分辨率崩溃

有些教程里为了"忠实于论文"，把AdaptiveAvgPool2d(1)写成AvgPool2d(kernel_size=7)，因为在 224 输入下最后一层特征图刚好是7×7。这个写法一旦你换成 320 或者 512 的输入，或者用在检测任务的多尺度训练里，就会因为尺寸不匹配直接崩掉，或者更糟——在某几个尺度上凑巧能过，某个尺度上突然报错。

统一用AdaptiveAvgPool2d(1)，它在任何输入尺寸下都输出1×1，没有理由不用。如果为了极致性能想用固定尺寸，也必须写成AdaptiveAvgPool2d(1)让编译器去优化，不要手动写死。

6.3 FLOPs 只涨 0.26%，推理为什么慢了 8%

这是最反直觉的一条。论文说计算量几乎没有增加，你的 profiler 也显示 FLOPs 涨了不到 1%，但实测 GPU 上的 batch=1 延迟涨了 5% 到 10%，端侧更明显。原因有三个：全局平均池化是一个 reduction 操作，它把整个特征图压成一个点，这中间有一次跨 SM 的同步，打断了 GPU 的算子融合；逐通道乘法是访存密集型操作，算力利用率低；还有 Sigmoid 里的指数运算在低精度硬件上代价不低。

如果你的场景对延迟极其敏感（比如高帧率视频流），SE 的收益要打个折扣来评估。可以做的优化包括：把 SE 只加在后两个 stage（浅层特征图分辨率大，池化的访存开销占比最高）；推理时把 SE 的两个 1×1 卷积和后面的乘法融合成一个自定义 kernel；或者干脆在导出时把 SE 的权重做定点化处理。

6.4 量化部署时 Sigmoid 与 GAP 的敏感度

做 INT8 量化时，SE 模块是最容易掉精度的部分之一。全局平均池化输出的动态范围跟特征图本身不同，用同一套量化参数会丢精度；Sigmoid 在(0,1)区间上分布极不均匀，大量值集中在 0.5 附近，定点化之后分辨率不够，门控值全挤在几个离散档位上。

实践中的处理办法：给 SE 的池化输出和 Sigmoid 输出单独配置量化参数（大多数推理框架支持按算子配置）；或者把 SE 这一段保留成浮点，只量化卷积部分，实测精度损失能控制在 0.3 个点以内，而全量化可能掉 2 个点以上。

6.5 初始化的两个细节

如果你是从零训练，默认初始化就够了，不需要特殊处理。但如果你是在已有预训练模型上加 SE 做微调，建议把第二个 FC 的 bias 初始化成一个正值（比如 2 到 3），这样初始状态下 Sigmoid 输出接近 0.9，整个模块近似恒等映射，不会一上来就把特征砍掉一半。这个技巧不加也能训，但收敛会慢，尤其在数据量小、学习率低的时候，前几个 epoch 的 loss 会明显抖。

反过来，有一类做法是把第二个 FC 的权重初始化为全零。这个要小心：权重为零时 Sigmoid 输入为 0，输出恒为 0.5，等于把所有通道整体乘 0.5，这跟"恒等映射"完全是两回事。如果你的网络后面还有 BN，影响会被吸收掉一部分，但仍然是拖慢收敛的操作。

6.6 检测与分割任务里的额外注意事项

分类任务里 SE 加在 backbone 上就完事了，检测和分割要多想一步。第一，特征金字塔的每一层都插 SE 是可以的，但顶层（分辨率最小、通道最多）的 SE 参数量占比会很高，如果 P6、P7 这种超大感受野的层也加，参数增长会超出预期，建议只在前几层加。第二，小目标检测对通道门控比较敏感，深层 SE 把某些通道压得太狠时，小目标的弱响应可能直接被抹掉，可以尝试把门控的下限抬高（比如把 Sigmoid 换成0.5 + 0.5·sigmoid(x)，保证权重不低于 0.5）。第三，分割任务里 SE 和空洞卷积叠加使用时要注意，空洞卷积的输出统计特性跟普通卷积不太一样，池化得到的通道描述方差更大，r 取小一点通常更稳。

6.7 问题排查速查表

7. 选型建议：什么场景该用 SE，什么场景别用

7.1 适合用的三类场景

第一类是在已有 backbone 上做小改动的涨点需求。你有一个已经调好的训练流程，不想动数据、不想改优化器，只想把指标往上顶一点，SE 是最省事的选择，改动量小、复现稳定、几乎不会破坏原有训练动态。

第二类是通道信息比空间信息更重要的任务。比如多光谱图像、医学影像的多通道输入，或者特征通道之间有明确物理含义的场景（不同频段、不同模态），这时候给通道打分比给空间位置打分更有意义。

第三类是算力预算紧张但需要一个模块来建模长距离依赖。SE 的全局池化提供了覆盖整图的信息通路，成本比 self-attention 低两个数量级，在端侧模型上是很划算的选择。

7.2 不建议用的两类场景

第一类是极低延迟的实时推理。前面分析过，FLOPs 不涨但实际延迟会涨，如果你的模型已经在 5ms 的预算里抠，SE 的收益可能抵不过它的开销。这种情况下优先考虑在训练时用 SE、推理时剪掉（用蒸馏把 SE 的作用转移到主分支上），或者干脆不加。

第二类是需要精细空间定位的任务。SE 完全丢弃了空间信息，它只知道"哪个通道重要"，不知道"哪个位置重要"。如果你的任务强依赖空间上的精确定位（比如关键点、细粒度分割），单纯加 SE 收益有限，应该考虑带空间分支的模块。

7.3 我自己的默认配置

如果让我给一个不假思索的默认配置，大概是这样：ResNet 系主干，r=16，全网络每个 Bottleneck 都插，位置在残差分支最后一个 BN 之后、加法之前，池化用AdaptiveAvgPool2d(1)，1×1 卷积实现 FC，bias=False。这个配置在分类、检测、分割上我都跑过，几乎不需要调，是最稳的起点。真要在它基础上调，优先动 r（通道窄就调小），其次动插入密度（资源紧张就砍掉前两个 stage），最后才考虑改结构本身。

最后分享一个我在实际项目里体会到的小事：SE 这种模块的价值，往往不在于它单独能涨多少点，而在于它让训练过程变得更"抗折腾"。同一个模型，加了 SE 之后对学习率、batch size、数据增强强度的敏感度都会下降一些，换数据集时也不容易崩。这个特性在论文的表格里看不出来，但在真实项目里比那零点几个点重要得多。你要是正在做一个方向不太确定、需要反复试错的任务，先把它加上，能省下不少调参的力气。