简介：这份资源面向从事工业质检、机器视觉与深度学习缺陷检测的研究生、工程师及竞赛选手，提供无缝钢管内表面缺陷检测的完整项目资料，核心为自增强感知协同网络模型，可识别裂纹、划痕、斑点等典型缺陷，解决人工检测效率低、成本高、一致性差的问题。压缩包为7z格式，共约2000个文件，整体206.05MB，其中1400个png与566个jpg为内表面图像及检测结果样本，18个py脚本承载模型训练与预测逻辑，另有xml标注、txt说明和md文档辅助理解项目结构。资源包含checkpoint权重、SSP2000图像采集或预处理模块、.idea工程配置、our results结果样本与Prediction预测输出，便于读者复现训练流程、查看实际检测效果并对照排错。目前已有200人学习下载，适合希望快速上手工业缺陷检测项目、积累目标检测实战经验的中高级读者参考。
1. 无缝钢管内表面缺陷检测：自增强感知协同网络到底在解决什么
无缝钢管的内表面检测，是产线上公认的硬骨头。管径小、内壁反光强、油污和氧化皮混杂，传统人工内窥镜抽检漏检率高得离谱，而基于普通卷积网络的视觉方案一上产线就翻车——缺陷占比往往不到千分之三，模型训着训着就退化成“全判合格”的摆烂状态。自增强感知协同网络这个方向，本质上是冲着两个痛点去的：一是小样本、弱对比度下的特征增强，二是多尺度、多视角感知分支之间的信息协同。它适合已经跑通过基础缺陷分类、但卡在召回率和误报率上的产线算法工程师，也适合想把工业质检从“能跑”推到“敢用”的团队。这一章先把问题边界划清楚，后面几章再拆网络结构、数据管线和调参细节。
2. 自增强感知协同网络的骨架：从特征增强到分支协同
2.1 为什么普通检测网络在钢管内壁场景会失效
钢管内表面的成像条件决定了缺陷信号极其微弱。划痕、凹坑、结疤这几类典型缺陷，在灰度图上往往只比背景低十几个灰度级，边缘还容易被油膜反光淹没。普通检测网络的第一层卷积核感受野固定，遇到这种低对比度目标，梯度回传时缺陷区域的贡献被背景稀释，训练几轮后模型就学会了“忽略细节、输出背景”。
更麻烦的是尺度问题。内壁缺陷从几毫米的麻点到几十毫米的纵向划伤都有，单尺度特征金字塔很难同时覆盖。常见做法是堆多尺度分支，但分支之间如果只是简单拼接，浅层的高分辨率特征会被深层的语义特征压制，协同变成内耗。自增强感知协同网络的思路，是在每个感知分支内部先做一次特征自增强，再在分支间做注意力引导的协同融合，让弱信号在进入融合层之前先被“提”起来。
2.2 自增强模块的三种常见实现与选型
自增强不是某个固定算子，而是一类让网络自己放大有效特征的机制。落地时我一般从三种里选：
第一种是通道自注意力，代表做法是压缩激励结构。它对每个通道学一个权重，把缺陷响应强的通道放大。优点是参数量小、容易嵌入，缺点是对空间位置不敏感，遇到缺陷只占几个像素的情况提升有限。
第二种是空间自增强，用可变形卷积或空间注意力图，让卷积核采样点向缺陷边缘偏移。这个对内壁划痕特别有效，因为划痕的几何形状比灰度对比更稳定。代价是训练时采样点容易跑飞，需要加偏移量正则。
第三种是频域自增强，把特征图转到频域，抑制低频背景、增强高频边缘。钢管内壁的油污反光属于低频干扰，频域滤波能压掉一部分。缺点是频域变换增加延迟，产线节拍紧的时候要权衡。
选型建议：如果缺陷以划痕、裂纹为主，优先空间自增强；如果以麻点、结疤为主，通道自增强加频域抑制组合更稳。下面给一个通道自增强加空间注意力的最小实现，可以直接嵌到现有骨干网络里。
import torch import torch.nn as nn class SelfEnhanceBlock(nn.Module): def __init__(self, channels, reduction=8): super().__init__() # 通道自增强：全局池化后学通道权重 self.channel_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(channels, channels // reduction, 1), nn.ReLU(inplace=True), nn.Conv2d(channels // reduction, channels, 1), nn.Sigmoid() ) # 空间自增强：7x7 大核卷积学空间权重图 self.spatial_att = nn.Sequential( nn.Conv2d(2, 1, kernel_size=7, padding=3), nn.Sigmoid() ) def forward(self, x): # 通道分支 ca = self.channel_att(x) x_c = x * ca # 空间分支：沿通道取均值和最大值，拼成两通道 avg_out = torch.mean(x_c, dim=1, keepdim=True) max_out, _ = torch.max(x_c, dim=1, keepdim=True) sa = self.spatial_att(torch.cat([avg_out, max_out], dim=1)) return x_c * sa这段代码的逻辑是：先做通道加权，把缺陷响应强的通道提出来，再在通道加权后的特征上做空间加权，两步串联。参数上，reduction控制通道注意力的压缩比，默认 8 是工业场景常用值，通道数少于 64 时建议改成 4，否则压缩后信息损失太大。空间注意力的卷积核用 7 而不是 3，是因为内壁划痕跨度大，小核感受野不够。这个模块插在骨干网络的每个 stage 后面，额外延迟在单张 640 分辨率图像上大约增加 3 到 5 毫秒，具体看硬件。
2.3 协同融合层：多分支信息怎么合才不互相打架
多分支融合最常见的翻车方式是直接相加或拼接。相加要求各分支特征分布一致，实际训练中浅层分支和深层分支的数值范围差一个量级，相加等于让深层分支单方面覆盖。拼接则会让通道数膨胀，后续卷积的计算量吃不消。
协同融合的核心是“先对齐、再加权”。对齐用 1x1 卷积把各分支通道数统一，加权用跨分支的注意力：把各分支特征拼起来算一个共享的权重图，再按权重回乘到各分支。这样浅层分支的高分辨率细节能在缺陷边缘处获得高权重，深层分支的语义信息在缺陷区域整体响应。
class CooperativeFusion(nn.Module): def __init__(self, in_channels_list, out_channels): super().__init__() # 各分支先做 1x1 对齐到统一通道数 self.align = nn.ModuleList([ nn.Conv2d(c, out_channels, 1) for c in in_channels_list ]) # 跨分支权重生成 self.weight_gen = nn.Sequential( nn.Conv2d(out_channels * len(in_channels_list), out_channels, 1), nn.Sigmoid() ) def forward(self, feats): aligned = [align(f) for align, f in zip(self.align, feats)] # 上采样到同一空间尺寸，以第一个分支为基准 target_size = aligned[0].shape[-2:] aligned = [ nn.functional.interpolate(f, size=target_size, mode='bilinear', align_corners=False) if f.shape[-2:] != target_size else f for f in aligned ] concat = torch.cat(aligned, dim=1) weight = self.weight_gen(concat) # 加权求和 out = sum(f * weight for f in aligned) return out参数说明：in_channels_list是各分支的输出通道数，out_channels建议取各分支通道数的中位数，太大显存吃紧，太小细节丢失。上采样统一用双线性插值，不用最近邻，因为最近邻会在缺陷边缘引入棋盘伪影，后续检测头容易误报。这个融合层放在特征金字塔之后、检测头之前，替换掉原来的简单拼接。
3. 数据管线：钢管内壁图像从采集到能训的完整链路
3.1 内壁成像的采集参数与常见成像缺陷
数据质量决定上限，网络结构只决定逼近上限的速度。钢管内壁采集常见方案是环形光源加内窥镜头，或者线扫相机配合旋转机构。采集参数里最容易被忽视的是光源角度：光源与镜头同轴时，镜面反射会把划痕“洗掉”；光源偏轴 15 到 30 度，划痕的阴影对比最强。曝光时间要压到不产生运动模糊，旋转采集时通常控制在 1 毫秒以内。
常见成像缺陷有三种：一是反光过曝，油膜区域整片饱和，缺陷信息全丢；二是光照不均，管口亮、管底暗，同一缺陷在不同位置灰度差一倍；三是镜头畸变，管壁弯曲导致直线划痕在图像上呈弧形。前两种靠采集端调光源和加偏振片缓解，第三种必须在标注前做畸变校正，否则网络学到的“划痕”形状是错的。
3.2 标注策略：弱监督与半自动标注的取舍
内壁缺陷标注成本极高，一张 2048 分辨率的内壁展开图，人工标一遍要十几分钟。全监督不现实，常见做法是弱监督加半自动。弱监督用图像级标签先训一个分类网络，再用类激活图生成伪标注，人工只做修正。半自动则是先用传统算子（比如局部对比度阈值加形态学）生成候选框，人工在候选框上做二分类确认。
我一般推荐的流程是：先标 200 到 300 张做种子集，训一个基础检测模型，用它在未标注数据上推理，把高置信度结果自动入库，低置信度结果送人工。迭代三轮，标注量能压到全监督的三成左右。注意伪标注的置信度阈值不要设太高，0.7 左右比较合适，太高会漏掉难例，模型永远学不会难样本。
3.3 数据增强：针对内壁缺陷的几何与光度变换
通用增强（随机裁剪、翻转）在内壁场景要慎用。水平翻转会改变划痕的走向语义，如果产线上划痕方向有工艺含义，翻转等于制造错误标签。垂直翻转相对安全。旋转要限制在小角度，正负 10 度以内，否则管壁的弧度先验被破坏。
光度增强里，对比度扰动和伽马变换最有效，能模拟不同光照条件。加噪声用高斯噪声，标准差控制在 5 到 10 灰度级，太大网络会学成去噪器。下面是一个针对内壁图像的增强配置片段：
import albumentations as A train_transform = A.Compose([ # 小角度旋转，保留管壁弧度先验 A.Rotate(limit=10, border_mode=0, p=0.5), # 垂直翻转安全，水平翻转禁用 A.VerticalFlip(p=0.3), # 对比度扰动模拟光照变化 A.RandomBrightnessContrast( brightness_limit=0.15, contrast_limit=0.25, p=0.7 ), # 伽马变换模拟不同曝光 A.RandomGamma(gamma_limit=(80, 120), p=0.5), # 高斯噪声，标准差控制在低区间 A.GaussNoise(var_limit=(5.0, 10.0), p=0.3), ])参数上，contrast_limit给到 0.25 是经验值，再高会让正常区域也出现伪缺陷纹理。gamma_limit的 80 到 120 对应伽马 0.8 到 1.2，覆盖产线常见曝光波动。噪声方差上限 10 是防止网络把噪声当特征。这套增强在小样本下能把召回率提升 5 到 8 个百分点，但前提是标注质量过关，标注错了增强只会放大错误。
4. 训练与调参：自增强协同网络落地时的关键参数
4.1 损失函数：分类、回归与增强正则的配比
检测损失通常是分类损失加回归损失。内壁场景正负样本极度不平衡，分类损失用焦点损失，聚焦参数取 2.0，平衡因子按正负样本比例倒数设置。回归损失用 CIoU，比普通 IoU 收敛快，对小目标更友好。
自增强模块需要额外正则，否则注意力图容易退化成全 1 或全 0。常见做法是给注意力权重加一个熵正则，鼓励权重分布有区分度。熵正则系数取 0.01 到 0.05，太大注意力会过度集中到少数像素，泛化变差。
def total_loss(pred_cls, pred_box, targets, att_maps, entropy_w=0.02): cls_loss = focal_loss(pred_cls, targets['cls']) box_loss = ciou_loss(pred_box, targets['box']) # 注意力熵正则：鼓励权重有区分度 entropy = 0 for att in att_maps: p = att / (att.sum() + 1e-6) entropy += -(p * torch.log(p + 1e-6)).sum() return cls_loss + 2.0 * box_loss + entropy_w * entropy回归损失权重给 2.0 是因为内壁缺陷定位精度直接影响后续打磨工序，定位偏了打磨头会伤到正常区域。熵正则系数 0.02 是试出来的，不同数据集要微调。
4.2 学习率与批次：小样本下的稳定训练策略
小样本训练最怕早期过拟合。学习率用余弦退火，初始值取 0.001，比常规检测任务低一半。批次大小受显存限制，内壁图像分辨率高，通常只能开到 4 或 8。批次小的时候批归一化统计量不稳，建议换成组归一化，组数取 8 或 16。
预热轮次给 500 到 1000 步，让自增强模块的注意力先随机探索，再进入正常学习。如果跳过预热，注意力容易在最初几轮就锁死到背景区域，后面很难纠正。这个坑我踩过，loss 曲线看着正常下降，但验证集召回率一直上不去，排查了两天才发现是注意力塌缩。
4.3 验证指标：为什么 mAP 不够，还要看召回和过杀率
产线关心的不是 mAP，是召回率和过杀率。召回率低，缺陷漏到下游，客户投诉；过杀率高，正常管被误判，产线频繁停机复检，效率崩盘。验证时要把这两个指标单独拉出来，按缺陷类型分桶统计。
常见做法是画召回率-过杀率曲线，选工作点时看产线能接受的过杀上限。比如过杀率必须低于 2%，那就找曲线上过杀率 2% 对应的召回率，作为模型的实际能力。mAP 高但召回率上不去的模型，在产线上没有意义。另外要按管径、光照条件分桶，避免模型只在某一种工况下表现好。
5. 避坑与排查：内壁检测落地时最容易翻车的五个点
5.1 注意力图全黑或全白
现象：训练几轮后，自增强模块输出的注意力图可视化出来是一片均匀灰度，没有区分度。原因通常是熵正则系数太小，或者学习率太高导致注意力权重饱和到 0 或 1。解决：先把熵正则系数提到 0.05，学习率降一个量级，观察注意力图是否出现纹理。如果还不行，检查自增强模块是否被批归一化层夹在中间，批归一化的统计量会抹掉注意力权重的分布，把自增强模块放到批归一化之后。
5.2 验证集召回率远低于训练集
现象：训练集召回率 95%，验证集只有 60%，差距巨大。原因多半是数据泄漏：同一根钢管的不同视角图像被分到了训练集和验证集，模型记住了这根管的背景特征。解决：按钢管编号划分数据集，同一根管的所有图像只能出现在一个集合里。另外检查增强是否过强，验证集不能用训练增强，否则评估的是增强后的分布，不是真实分布。
5.3 推理延迟超标
现象：模型精度达标，但单张推理时间超过产线节拍要求。原因通常是自增强模块和协同融合层叠加后计算量膨胀，或者上采样用了双三次插值。解决：先测各模块的耗时占比，自增强模块如果超过总耗时 30%，把通道注意力的压缩比从 8 调到 16，或者只在骨干网络的后两个 stage 加自增强。协同融合层的上采样换成双线性，双三次在工业场景性价比不高。另外可以尝试把自增强模块在推理时融合进卷积核，减少独立算子调用。
5.4 小缺陷漏检集中在管口和管底
现象：管口中部和管底区域的缺陷召回率明显低于其他区域。原因是光照不均导致这两个区域对比度低，自增强模块的注意力被管口高亮区吸引。解决：在数据增强里加随机亮度偏移，模拟不同区域的光照差异；同时在损失函数里给管口和管底区域的样本更高权重，按区域位置加权。另一个办法是在采集端加匀光结构，从源头改善，但改硬件周期长，算法端先顶住。
5.5 模型换批次钢管后性能骤降
现象：同一产线换了批次钢管，表面粗糙度或油膜状态变了，模型召回率掉 20 个百分点。原因是模型过拟合到了上一批次的表面纹理。解决：训练时加入强纹理扰动，比如随机高斯模糊和锐化交替，让模型不依赖特定纹理。同时保留一个在线更新机制，新批次数据积累几百张后做微调，学习率用初始值的十分之一，只更新检测头和融合层，骨干网络冻结。
6. 进阶技巧：把自增强协同网络压到产线可用的最后几步
模型在验证集上达标，和产线敢用之间还有一段距离。我一般会做三件事：第一，用 TensorRT 或类似推理框架做图优化，把自增强模块的逐元素乘加融合掉，实测能压掉 20% 到 30% 延迟。第二，做量化感知训练，把骨干网络量化到 INT8，自增强模块的注意力权重保持 FP16，因为注意力对数值精度敏感，全 INT8 会让注意力图出现阶梯状伪影。第三，建立影子模式，新模型上线后先不控产线，只做推理记录，和现有模型对比一周，确认过杀率和召回率稳定后再切换。
验证方法上，除了常规指标，我会额外做一次“对抗测试”：拿一批人工确认无缺陷但表面状态复杂的钢管，看模型过杀率；再拿一批缺陷极微弱的钢管，看召回率。这两批数据不参与训练，专门用来暴露模型的边界。如果过杀率超过 3%，说明自增强模块把正常纹理也放大了，需要回调熵正则系数或降低空间注意力的卷积核尺寸。
最后说个血泪教训：别在产线切换当天改多个变量。我曾经同时换了模型、改了光源角度、调了相机曝光，结果过杀率飙升，排查了三天才定位到是光源角度变化导致训练分布偏移。后来我的习惯是，每次只动一个变量，动完观察至少一个班次的数据再决定下一步。这个方向值得做，但落地节奏比模型精度更重要。希望帮到你。
本文还有配套的精品资源，点击获取
