做语义分割这半年多，我最大的感受是：很多人把 DeepLab 当成一个"刷点"的黑盒模型，跑通开源代码、在一两个数据集上出了 mIoU 就开始调参。但一旦把任务换成自定义数据集，比如遥感语义分割、医疗影像或者工业缺陷分割，就会发现原来的配置完全不顶用。DeepLab 系列恰恰是所有现代语义分割模型里最值得从头到尾吃透的一条主线，因为它的每次迭代都对应一个非常明确的问题——多尺度物体、边界保持、特征分辨率与感受野的平衡。这篇 Day 32 的复盘，我想从语义分割的本质难点讲起，把空洞卷积、ASPP、Decoder 的设计逻辑和训练细节拆开揉碎，最后聊一聊我把它迁移到实际项目中踩过的坑和最终沉淀下来的一套靠谱流程。
这篇文章不是什么泛泛的技术综述，而是基于我自己在 Pascal VOC、Cityscapes 和两个非公开工业数据集上的完整复现经验。适合已经在用分割模型、但对 DeepLab 系列内部原理还比较模糊的读者，或者正准备从分类任务转向分割任务、想系统理解模型演进的从业者。看完之后，你可以清楚地知道：DeepLab 每一代到底改了什么、为什么这么改、迁移到自己的数据时应该保留什么、放弃什么。
1. 语义分割的难点到底卡在哪个环节
1.1 分类、检测与分割的任务本质差异
图像分类只需要回答"这张图里有什么"，检测需要回答"有什么、在哪"，而语义分割要回答的是"每一个像素属于哪个类别"。看起来只是输出粒度变细了，但内部牵扯的问题完全不一样。分类模型天然对空间平移有容忍度，猫从左上角移到右下角，预测结果不变；分割不行，每个像素的类别都依赖上下文。检测模型对物体中心敏感、对边界相对粗糙，bounding box 稍微偏几个像素可能并不影响检测精度；分割却对边界像素极其敏感，边界区域的 IoU 掉下来，整体 mIoU 就会被拖得很明显。
所以当你用分类任务的惯性思维去理解分割时，很容易犯一个错误：认为主干网络越深越好。实际上，分割是一个"既需要语义信息、又需要空间信息"的任务。深层网络经过多次池化/步幅卷积后，感受野大了、语义抽象能力强了，但特征图分辨率小了，边界细节被抹平。浅层特征虽然分辨率高，但噪声大、语义信息弱。所有分割网络设计本质上都在解决同一个问题：如何让深层语义特征在空间维度上"重新长回来"。
1.2 三个关键因素：边界、尺度、感受野
我对大量分割错误样本做过统计，发现错误基本集中在三种类型：
- 边界误差：物体和背景交界处，模型预测出的轮廓比真实标注膨胀或收缩 2~5 个像素。这类误差在 mIoU 上会带来稳定的几个百分点损失，但对肉眼来说可能并不明显。
- 尺度误差：同一类别在图像中大小差异很大。比如"道路"在大尺寸下能正确分割，缩小到占图像 5% 的区域时就被漏掉。这是多尺度问题的典型体现。
- 感受野不足：某些类别的判定强依赖上下文。比如"瓶子"必须结合"餐桌"或"柜台"才能准确识别，如果感受野仅仅覆盖瓶子本身，模型很容易把瓶身和背景混淆。
DeepLab 系列的核心贡献，就是围绕感受野和尺度问题给出了一套系统的解法：用空洞卷积在不大幅降低分辨率的前提下扩大感受野，用 ASPP 在多个膨胀率上并行采样来覆盖不同尺度，再用一个轻量解码器把深层语义和浅层边界信息结合起来。
1.3 评估指标：mIoU 为什么比 Pixel Accuracy 更可信
很多刚接触分割的读者上来就盯着 pixel accuracy 看，觉得 95% 以上很厉害。但实际上在大多数分割数据集里，背景像素占比经常超过 80%，哪怕模型把所有物体全预测成背景，pixel accuracy 依然很高。mIoU 的计算方式是：对每个类别，计算预测与真实的交集除以并集，然后对所有类别取平均。这个指标天然对类别不均衡不敏感，某个类被漏掉会直接让对应类别的 IoU 变成 0，从而真实反映模型的结构性缺陷。
不过 mIoU 也不完美。它对所有类别一视同仁，而在实际业务里，我们往往更关心某些关键类别的 IoU。比如在自动驾驶场景中，"行人"类和"骑车人"类的权重就应该比"天空""建筑"更高。所以我在实际项目中一般会同时看 mIoU、每类 IoU、以及边界 IoU（Boundary IoU）三个指标，前两者反映整体性能，后者专门衡量边界质量。
2. 空洞卷积：DeepLab 系列最核心的一次设计决策
2.1 空洞卷积的计算逻辑与感受野公式
空洞卷积（Atrous Convolution，也叫膨胀卷积）在普通卷积核的元素之间插入空洞，使得卷积核在不增加参数量的情况下覆盖更大的区域。一个膨胀率为 r 的 k×k 卷积核，等效核尺寸为：
K' = k + (k - 1) × (r - 1)
比如 3×3 卷积核、膨胀率 r=2，等效于 5×5 卷积核的感受野，但参数量仍然是 9 个。感受野的递推关系可以简单理解为：每一层新引入的额外感受野等于该层等效核尺寸减 1，再乘以前面各层步幅的累积。所以空洞卷积的核心价值就是：在不引入额外参数、不降低特征图分辨率的前提下，直接扩大感受野。
这个性质对分割太重要了。分类网络通常用"池化 + 大步幅卷积"来快速扩大感受野，但每次下采样都会丢掉一部分空间信息。虽然可以通过上采样恢复到原尺寸，但丢失的细节不会回来。空洞卷积让网络可以在保持 8 倍或 16 倍下采样率的条件下，让高层的有效感受野大幅增加，这是 FCN 时代做不到的。
2.2 为什么不是简单地把网络变深或把输入变大
有人可能会问：想要更大感受野，直接把 ResNet 从 50 层加到 152 层行不行？当然行，但收益会递减。加深网络会增加大量参数和计算量，而且深层特征图已经很抽象，在分割这类 dense prediction 任务中，单纯的深度增加不如有针对性地放大感受野。
另一个朴素的思路是把输入图像放大，让物体在像素空间里显得更大。这个思路有用，但代价是 GPU 显存和计算量呈平方级增长。Cityscapes 原始分辨率已经到 1024×2048，再放大 1.5 倍，很多显卡直接就跑不动了。空洞卷积是在计算量不膨胀的情况下扩大网络的有效视野，属于"花小钱办大事"。
2.3 空洞卷积的陷阱：网格伪影与膨胀率选择
空洞卷积也不是万无一失。膨胀率取得过大，卷积核的采样点之间距离太远，中间区域的像素根本没有被覆盖，特征图会出现类似网格的伪影（gridding artifacts），尤其当多个空洞卷积层串联时，这个效应会被放大。典型例子是：如果连续多层都使用 rate=2，网络会丢失某些方向上的高频信息，最终预测结果出现规律的条纹状噪声。
解决方案一般是两种。一种是让膨胀率随着层数递增，比如 1、2、4、8 这样设计，保证不同层之间能够互相弥补采样空洞。另一种是 DeepLab v3 中提出的多网格（multi-grid）策略：在同一个残差块里对三个 3×3 卷积分别设置不同的膨胀率倍数，例如 [1, 2, 4] 的倍数乘以基础 rate，形成更丰富的感受野组合。我在实际实验中也验证了，直接把所有层都设成同一个大膨胀率，mIoU 往往不如使用多网格，而且训练收敛更慢。
3. 从 v1 到 v3+：DeepLab 四代演进各自在解决什么问题
3.1 v1 与 v2：从空洞卷积到 ASPP 的诞生
DeepLab v1 的核心动作有两个：第一，把预训练的分类网络（VGG-16）最后两个下采样层的步幅去掉，用空洞卷积保持分辨率；第二，在输出端接入全连接条件随机场（CRF）做边界修正。当时设计者的直觉是：DCNN 的预测图在边界区域往往过于平滑，CRF 可以让相似的像素倾向于同一类别，从而"收紧"边界。这个思路在当时确实有效，在 PASCAL VOC 2012 上取得了不错的分数。
DeepLab v2 最重要的贡献是提出了 ASPP（Atrous Spatial Pyramid Pooling）。作者意识到单一膨胀率只能覆盖一个尺度范围，于是用多个膨胀率不同的空洞卷积并行处理同一个特征图，再把结果融合。v2 里默认的膨胀率是 6、12、18、24，配合 VGG-16 或 ResNet-101 作为骨干。ASPP 的思想影响了后来一系列分割模型，包括 PSPNet 的空间金字塔池化，本质上都是在做多尺度上下文采样。
3.2 v3：去掉 CRF，加入图像级特征
到了 DeepLab v3，作者做了一个反直觉的决策：把 CRF 完全去掉。原因是随着骨架网络变强和 ASPP 的完善，模型自身已经能够学到边界保持能力，CRF 这类后处理带来的边际收益越来越低，而它带来的推理耗时和实现复杂度却不小。另一个关键改动是在 ASPP 中加入了一个全局平均池化分支：把整张特征图池化成 1×1，再通过 1×1 卷积恢复通道数并上采样回原尺寸。这一支在数学上等价于让网络看到整张图像的全局信息，对判定"这张图像整体是什么场景"非常有帮助。
v3 把输出步幅（output stride）这个概念正式推到台前。output stride 指的是输入图像分辨率与最终特征图分辨率的比值。v3 默认用 OS=16，推理时可以切成 OS=8，配合不同膨胀率的调整，精度会有提升但显存占用明显增加。这一步其实是在"分辨率"和"感受野"之间做一个动态权衡。
3.3 v3+：浅层特征回归，解码器补位
v3+ 的改动看起来很小，但对精度的提升非常关键。v3 的 ASPP 输出直接上采样到原图尺寸，这样的缺点是深层特征虽然语义强，但边界信息不足。v3+ 引入了一个轻量解码器：把 backbone 中较低层（比如 ResNet-101 的 conv2 或 Xception 的 entry flow 输出）先做 1×1 卷积降通道，再与上采样 4 倍后的主干输出拼接，之后经过几个 3×3 卷积融合，最后上采样 4 倍得到预测。这个解码器让浅层的结构信息和深层的语义信息真正发生了交互，边界质量提升明显。
同时 v3+ 把骨干网络从 ResNet 扩展到改良版 Xception 和 MobileNet v2，前者面向高精度场景，后者面向实时移动端场景。我个人的经验是：Xception 作为 backbone 时 DeepLab v3+ 在 Cityscapes 上的效果确实比 ResNet-101 好，但显存占用和训练时间也水涨船高；在没有足够算力的情况下，ResNet-50/101 仍然是更稳的选择。
| 版本 | 核心改动 | 关键创新 | 是否用CRF |
|---|---|---|---|
| v1 | 空洞卷积替换下采样 | 不降分辨率扩大感受野 | 是 |
| v2 | 提出ASPP | 多膨胀率并行提取多尺度 | 是 |
| v3 | ASPP加入全局池化，多网格 | 移除CRF，context建模更强 | 否 |
| v3+ | 增加解码器 | 浅层特征融合，支持MobileNet/Xception | 否 |
4. DeepLab v3+ 的网络设计拆解
4.1 编码器主流程：从输入到 OS=16 的特征图
整个 v3+ 模型可以分成两段。编码器部分，先用一个带空洞卷积的深度 CNN 从输入图像提取特征，输出步幅通常是 16。然后特征进入 ASPP：四个并行分支——1×1 卷积、膨胀率 6/12/18 的 3×3 空洞卷积、以及全局平均池化分支——每个分支都输出相同通道数（通常是 256），再拼接到一起，通过一个 1×1 卷积压缩通道。ASPP 的输入通道如果是 2048（ResNet-101 最后一层），这个 1×1 卷积会把通道数降到 256，控制解码器计算量。
这里有一个关键工程点：全局平均池化分支的输出需要上采样回输入特征图的尺寸，才能和其他分支拼接。在 PyTorch 里直接调用F.interpolate就行，但要在训练时注意：如果用了多尺度训练，这个上采样的尺寸必须动态计算，不能写死。
4.2 解码器的具体融合策略
解码器部分，取 backbone 中比较浅的一层特征，通常是对应 OS=4 的那一层。在 ResNet 里对应第一个残差阶段输出，在 Xception 里对应 entry flow 的中间层。由于这个特征层通道数可能很大（例如 256 或 512），直接用会影响解码器效率，所以先过一个 1×1 卷积降到 48 通道。然后把 ASPP 的输出先上采样 4 倍，和降维后的浅层特征在通道维度拼接，再用两个 3×3 卷积融合，最后上采样 4 倍输出预测。
我在复现时发现，浅层特征降维的通道数从 48 改成 64，在 Cityscapes 上 mIoU 会高零点几个点，但解码器计算量也随之增加。这个参数不算敏感，但也不建议设得太大，否则解码器会逐渐变成主计算负担。
4.3 Backbone 选择：ResNet、Xception 与轻量选项
带空洞卷积的 ResNet 是最常见的组合，成熟稳定，各类预训练权重好找。Xception 作为 backbone 的 v3+ 在原始论文中针对 Cityscapes 做了大量结构微调，包括在 entry flow 中加更多下采样、把中间 flow 的重复次数从 8 调到 16 等，表格里记录了很多细节。但 Xception 在 ImageNet 上的预训练权重不如 ResNet 普及，如果你自己训练，需要更多数据才能收敛。
MobileNet v2 作为 backbone 则明显偏向实时场景，计算量小，适合在嵌入式设备或移动端部署。MobileNet v2 的 DeepLab v3+ 在 Cityscapes 上大概能到 72~75 mIoU，虽然不及 ResNet-101 的 80+，但推理速度可以做到实时。实际选型时，我通常按这个标准判断：显存充足、追求精度选 ResNet-101 或 Xception；显存有限或追求实时选 ResNet-50；移动端选 MobileNet v2 并配合 INT8 量化。
5. 训练与调优：那些让 mIoU 死活上不去的细节
5.1 Batch Size、SyncBN 与学习率的关系
分割任务对显存需求量非常大，尤其当输入分辨率达到 513×513 甚至更大时，单卡 11GB 显存可能只够放 4~8 张图。而 DeepLab 系列的 backbone 在 ImageNet 预训练时用的是 BatchNorm，微调时如果 batch size 太小，BN 的均值和方差估计会很不稳定，训练过程波动大、最终精度上不去。
可靠的解法有两个方向。第一是开启跨卡同步 BN（SyncBN），在 PyTorch 里封装一个torch.nn.SyncBatchNorm.convert_sync_batchnorm，把模型的普通 BN 全部转成同步版本。这个操作在多卡训练时几乎是必须的，实测下来 batch size 从 8 提到 16，Cityscapes 上的 mIoU 能稳定提升 1~2 个点。第二是如果只有单卡、显存又不够大，就不要勉强加大 batch size，而是考虑冻结 backbone 前面的 BN 层，只更新后面的参数，或者使用 GroupNorm 替换 BN——虽然 GroupNorm 会带来少量精度损失，但至少训练过程不会因为 batch size 过小而出 NaN。
学习率的设置也直接影响收敛。DeepLab 系列一般使用 poly 学习率衰减策略，公式是：当前学习率 = 初始学习率 × (1 - iter/total_iter)^power，其中 power 取 0.9。这个策略比固定学习率、步进衰减都要稳，后期收敛更细腻。初始学习率我常用 0.007 配合 batch size 16，如果 batch size 减半，学习率也建议相应减半，否则容易在训练初期震荡。
5.2 损失函数与类别不平衡处理
多数分割任务直接用交叉熵损失，简单有效。但类别不平衡严重时，比如"背景"占 90% 以上、目标类别占不到 1%，交叉熵会让模型学到"全部预测为背景"这种偷懒解。我踩过这个坑：一个工业缺陷数据集里缺陷像素占比不到 0.5%，第一版模型 mIoU 看起来正常，但查看每类 IoU 才发现缺陷类几乎没被预测出来。
两种常用的修正方式是：加权交叉熵和在线困难样本挖掘（OHEM）。加权交叉熵的关键是权重怎么给，简单按样本频率反比通常会矫枉过正，我一般会对权重做平方根压缩，比如权重 = (总像素数 / 该类像素数)^0.5，再归一化。OHEM 的思路更直接：每个 batch 计算所有像素的 loss，只保留 loss 最高的 K 个像素回传梯度，这样模型把精力集中在最难的区域。OHEM 在类别不平衡场景下的表现通常优于加权 CE，但它需要额外实现，且对噪声标注更敏感。
如果业务场景对边界要求高，还可以考虑在损失函数中加入边界损失项，比如 Lovász-Softmax 或者边界感知的损失。不过这些损失通常不会单独使用，而是和交叉熵加权求和，系数从 0.1 到 1.0 不等，需要在小验证集上多试几组。
5.3 数据增强：不止是翻转和裁剪
分割任务里的数据增强需要考虑一个特殊约束：图像和标签必须做完全相同的空间变换。常用的组合包括随机水平翻转、随机缩放（0.5~2.0 倍）、随机裁剪、随机旋转，以及颜色抖动（只作用于图像）。随机缩放特别重要，因为它能为模型提供多尺度的训练样本，缓解尺度变化问题。但要注意，缩放之后标签如果用了最近邻插值，边界会出现锯齿；我通常把标签先缩放成 float，再用最近邻或整数化处理，避免引入额外噪声。
还有一个容易被忽略的参数是裁剪尺寸。很多人直接用 513×513，但如果你在 Cityscapes 这种大图上做验证，会发现在 513×513 裁剪下训练的模型，对远处小物体分割效果不好。我后来把裁剪尺寸提高到 769×769，mIoU 提升非常明显，但训练显存和时间也几乎翻倍。实际项目里，裁剪尺寸需要和标签中小物体占比做权衡：小物体多、要求精细，尽量用大裁剪尺寸；资源有限，就通过多尺度推理在推理阶段找补回来。
5.4 推理阶段的隐藏加成：多尺度推理与翻转
DeepLab v3+ 在推理阶段有一个几乎无损的加分操作：多尺度推理（multi-scale inference）。具体做法是把输入图像缩放到多个尺度（比如原图的 0.5、0.75、1.0、1.25、1.75 倍），分别输入模型得到概率图，再上采样到原始尺寸，取平均作为最终预测。这个操作在 Cityscapes 上通常能提升 1~2 个 mIoU，在 Pascal VOC 上提升也稳定。另一个叠加项是水平翻转推理：把原图和翻转后的图分别推理，概率做平均。这两个技巧叠加的收益是正相关的，代价是推理时间乘以 5~10 倍。线上服务如果对延迟敏感，需要自己权衡；离线评测时这招非常好使。
关于 CRF 后处理，我的结论很明确：如果用 DeepLab v3+，不需要再用 CRF。v3 之后模型本身的边界已经足够好，CRF 带来的提升在 0.1~0.3 个 mIoU 左右，但实现复杂、调参繁琐、推理时间增加明显，不值得。真正的边界提升应该从解码器和损失函数设计中去要，而不是靠后处理。
6. 落地到自己的数据集：从 Pascal VOC 到自定义场景的完整流程
6.1 预训练权重与数据格式的统一
迁移学习是分割项目的最优起点。我在新项目里一定先从 Pascal VOC 或 COCO 上预训练过的 DeepLab v3+ 权重开始，然后微调自己的数据集。但这里有个细节：Pascal VOC 预训练模型最后分类层的类别数是 21（含背景），你的任务可能是 5 类或 10 类，所以最后一层必须随机初始化。前几轮训练建议把 backbone 的学习率调低（比如为主干学习率的 0.1 倍），或者干脆冻结 backbone 只训练解码头，等损失降下来一点后再解冻所有层，这样一个流程走下来，收敛速度比全部随机初始化快很多，最终精度也更高。
数据格式这一关也容易出错。语义分割的标签通常是单通道 PNG 或索引色 PNG，每个像素的值代表类别 ID，而不是 RGB 值。如果你的数据是 JPEG 格式的彩色标注，需要先转成单通道索引图。还要注意打标签工具导出的类别 ID 可能不连续，比如只有 0、1、5，需要手动重映射为 0、1、2，否则训练的类别数和实际类别数对不上，损失函数直接报错。
6.2 从零复现 DeepLab v3+ 的配置参考
下面是我在 PyTorch 上跑通的一个参考配置，适用于 8 卡环境、Cityscapes 级别的数据量。如果你用单卡，可以把 batch size 降到 4~8，学习率相应减半。
- 骨干网络：ResNet-101（ImageNet 预训练）
- 输出步幅：训练时 OS=16，测试时 OS=8
- 输入裁剪：769×769
- Batch size：16（8 卡 × 2）
- 优化器：SGD，momentum=0.9，weight decay=1e-4
- 学习率：初始 0.01，poly 衰减 power=0.9
- 训练轮数：60K iter
- 数据增强：随机翻转、随机缩放 [0.5, 2.0]、随机裁剪、颜色抖动
- 损失：交叉熵 + 辅助损失（权重 0.4）
这个配置在 Cityscapes 验证集上可以复现出 77~79 mIoU，和论文里的报告值差距不大。如果你想把精度推到 80+，就需要换成 Xception backbone、更大 batch、更长训练轮数，以及深监督中更精细的损失权重。
6.3 结果观察与常见失败模式
训练过程中我建议保存 checkpoint 的同时记录验证集 mIoU、每个类别的 IoU 和 loss 曲线。不要只盯整体 mIoU，因为某个稀有类别的 IoU 波动能提前暴露问题。最常见的情况是训练后期整体 mIoU 还在涨，但某个小类别 IoU 突然掉到 0，这往往是学习率过大导致模型在类别边界区域震荡，或者该类别样本太少被模型忽略。遇到这种情况，我会检查训练集中该类别的像素占比，如果确实过少，优先考虑 OHEM 或加权损失，而不是盲目调学习率。
另一个容易踩的坑是标签边界噪声。分割模型的预测边界质量很多时候取决于训练标签的标注精度。如果你发现验证集上边界 IoU 一直上不去，先不要怀疑网络结构，打开几十张训练图像的标注在原图上叠加查看，看边界是否偏移了 2~3 个像素。我做过一个实验：把一个数据集的标注边界人为腐蚀一个像素，mIoU 掉了将近 1 个点，而这个过程完全可以通过更仔细的标注规范来避免。
6.4 有没有必要换更新的模型
每次做完一个 DeepLab v3+ 项目，总有人问我：现在 SegFormer、Mask2Former 都有了，还有必要学 DeepLab 吗？我的看法是：必要。DeepLab 系列代表的是"卷积网络在密集预测任务上做到极致"的完整思路，空洞卷积、ASPP、解码器这些设计，在今天很多新模型里依然以变体的形式存在。SegFormer 用 Transformer 的自注意力替代了部分上下文建模，但它在 Cityscapes 上效果好，很大程度是因为它引入了分层 Transformer 结构和重叠 patch embedding，而这些设计解决的多尺度问题，和 ASPP 想解决的问题是同源的。Mask2Former 则把分割任务彻底改成了 mask 分类框架，输出的表达形式和损失函数都和 DeepLab 完全不同，但这种范式更适合通用分割，在单类小目标分割这种任务里，不一定比调优好的 DeepLab v3+ 强。
从工程落地角度，DeepLab v3+ 仍然是一个非常强力的 baseline。它显存占用可控、推理速度快、预训练权重丰富、部署生态成熟（OpenMMLab、TensorFlow、ONNX 都有现成实现）。我做项目时的习惯是：新任务来了，先用 DeepLab v3+ 跑一版拿到可靠 baseline，再去尝试更新模型。如果新模型比 v3+ 提升不到 1 个 mIoU，但推理时间多了 3 倍、显存占用翻倍，那我大概率不会换。
最后再分享一个我自己的操作习惯：每到一个新的分割数据集，我不会急着训练完整模型，而是先做一次"标签可视化检查"，把训练集里每一类像素的分布直方图画出来，再在图上叠加标注看边界质量。这个检查通常只需要半小时，但能避免后面好几个小时的无效调参。DeepLab 系列的每一个设计模块，本质上都是在和各种形式的"数据问题"做对抗，把数据和模型的关系理顺了，mIoU 自然会上去。
