Unet3+自适应多尺度训练：ISIC皮肤镜多类别分割实践

简介：一份面向医学图像分割方向的Unet3+实战项目包，基于ISIC皮肤病变数据集，在自适应多尺度训练策略下实现多类别语义分割，覆盖从数据准备、模型训练到指标评估的完整流程，适合希望快速上手医学分割实验的学生、研究者以及竞赛选手。压缩包内共2000个文件，包括1279个png格式的标签/掩码图、712张jpg原始皮肤镜图像、5个python脚本以及readme与txt说明；整体约192.71MB，目录结构清晰，可按阶段查阅代码与训练结果。目前已有516人学习下载，内置100个epoch的训练指标：全局正确率0.9507，平均Dice为0.9392，平均IoU为0.8865，可作为复现时的有效参照。除完整数据和训练代码外，资源还提供训练结果与文档化README，注释友好，零基础用户也能按步骤完成环境配置、模型训练与验证；基于Unet3+的结构也方便迁移至其他医学图像分割场景，具备较高实用价值。

1. 一张皮肤镜图像里圈出 5 类结构：Unet3+ 自适应多尺度训练在 ISIC 上解决什么问题

皮肤科医生看一张皮肤镜图像，不只是想知道“这里是不是病灶”，还希望看清病灶内部的 pigment network（色素网）、globules（小球状结构）、streaks（条纹）这些微观结构长什么样、分布在哪里。这些结构有的只有几十个像素，有的和整个病灶差不多大，目标尺寸跨度极大。用固定输入尺寸的普通语义分割模型去做，往往小结构漏检、大结构边缘粗糙，医生看一眼结果就不想用了。ISIC 是皮肤影像分析领域公开的皮肤镜图像数据集，带病灶和皮肤镜特征的精细掩码，正好拿来做这类多类别语义分割实验。Unet3+ 在 U-Net 系列基础上引入了跨所有编码器层级的全尺度特征融合，配合自适应多尺度训练策略，是当前在 ISIC 这类多类别、多尺度目标分割任务上性价比很高的方案。这篇笔记按我实际搭这个项目的顺序来写：模型骨架怎么搭、ISIC 的多类别掩码怎么喂给网络、自适应多尺度训练怎么落地、以及我踩过的几个坑。

2. 为什么残差连接不够用：Unet3+ 的全尺度融合与模型搭建

2.1 从 FCN 到 Unet3+：跳过连接解决了什么，没解决什么

语义分割算法发展到现在，FCN 把分类网络改成全卷积结构，解决了“像素级预测”从无到有的问题；U-Net 用编码器-解码器加跳跃连接，把高分辨率的浅层细节和低分辨率的深层语义拼在一起，在医学图像上大获成功。但 U-Net 的跳跃连接是单层级的：每一层解码器只和同一层编码器通信。这在目标尺度相对单一的任务里够用，在 ISIC 多类别分割里就露怯了——globules 这种小目标需要高分辨率浅层特征来定位，而判断它到底是良性还是恶性相关结构，又需要深层语义上下文来辅助；单层跳跃连接把两者割裂开了。Unet3+ 的改进思路很直接：解码器的每一层，不再只接同一层编码器，而是把编码器所有尺度、以及更深处解码器的特征图全部收集起来，统一对齐到当前分辨率再做融合。

从实现上看，Unet3+ 属于“多尺度特征融合”路线的极端形态，比 U-Net++ 的嵌套密集连接更彻底。U-Net++ 是在相邻尺度之间做了嵌套的稠密连接，Unet3+ 则要求每个解码层都看到“全局多尺度上下文”。这个特性对 ISIC 任务特别关键：病灶的外轮廓依赖低层高分辨率信息，病灶内部结构的质地和分布依赖深层语义信息，二者同时出现在同一个像素的预测里，单层跳跃连接做不到。

2.2 全尺度跳跃连接是怎么把细节和上下文拼到一起的

以 5 层编码器为例，记特征图为 E1 到 E5，对应 stride 2、4、8、16、32。解码器从最深层开始，生成 D5 后逐级向上。构造 D4 时，输入来源包括：E1、E2、E3、E4 四个编码器特征，以及来自更深层解码器的 D5。这 5 个特征图分辨率不同，少则差 2 倍，多则差 16 倍，必须先把它们对齐到 D4 所在的分辨率：分辨率高的做下采样，分辨率低的做上采样，然后逐通道卷积调整、拼接、再卷积融合。下采样我一般用 MaxPool，上采样用双线性插值，两层都用 1x1 卷积先把通道压到统一的融合宽度，降低计算量。

Unet3+ 论文里还有一个细节值得在工程上保留：深监督。每层解码器输出后都会接一个 1x1 卷积映射到类别数，然后用双线性插值放大回输入分辨率计算损失。这意味着网络在训练时同时受到 5 个不同尺度的监督信号约束，浅层解码器被迫学会输出靠谱的分割结果，而不是把压力全部甩给最后一层。对 ISIC 这种标签有精细结构的任务，深监督能显著加快收敛，也能缓解训练后期梯度在深层编解码路径上消失的问题。

2.3 最小可跑通的 Unet3+ 融合模块：PyTorch 骨架

完整复刻论文里的 Unet3+ 有几百行，工程上我建议先写清楚核心融合模块，再套到自己熟悉的 U-Net 骨架上。下面这段是每个解码层都会调用的全尺度融合单元。

import torch import torch.nn as nn import torch.nn.functional as F class FullScaleFusion(nn.Module): def __init__(self, in_channels_list, out_ch, target_size): super().__init__() # in_channels_list: 参与融合的各来源特征图通道数 # target_size: 当前解码层要输出的分辨率 (H, W) self.aligns = nn.ModuleList() for in_ch in in_channels_list: self.aligns.append(nn.Sequential( nn.Conv2d(in_ch, out_ch, 1), # 1x1 先把通道压到统一宽度 nn.BatchNorm2d(out_ch), )) self.conv = nn.Sequential( nn.Conv2d(out_ch * len(in_channels_list), out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), ) self.target_size = target_size def forward(self, sources): fused = [] for feat, align in zip(sources, self.aligns): feat = align(feat) h, w = feat.shape[-2:] th, tw = self.target_size if h != th or w != tw: if h > th: feat = F.adaptive_avg_pool2d(feat, self.target_size) # 下采样 else: feat = F.interpolate(feat, size=self.target_size, mode='bilinear', align_corners=False) # 上采样 fused.append(feat) return self.conv(torch.cat(fused, dim=1))

这段代码的逻辑是：每个来源特征图先过 1x1 卷积把通道数统一到out_ch，再按当前解码层目标分辨率做对齐。分辨率高于目标的用自适应平均池化，分辨率低于目标的用双线性插值。对齐后拼接、过 3x3 卷积完成跨尺度信息混合。需要注意：所有sources来自同一个 batch，目标尺寸也完全一致，所以 batch 内的对齐操作不需要额外处理。

参数上我默认out_ch取 64，融合层卷积核数量太多会导致显存压力大，太少则融合能力不足；编码器最深一层的通道数通常取 512，如果输入的 ISIC 图像是 256x256，这个参数组合在一张 RTX 3090 上跑 batch size 8 没问题。实际使用时in_channels_list由编码器各层实际输出决定，我的习惯是编码器通道数按 32-64-128-256-512 递增，解码器融合宽度统一为 64。这个配置在小数据集上不容易过拟合，也保留了足够的特征表达能力。

3. 多类别掩码怎么喂给网络：ISIC 数据整理与 Dataset 加载

3.1 ISIC 掩码的类别定义：病灶和皮肤镜特征要分开看

ISIC 数据集有几个子任务，做多类别分割时不要拿错标签。ISIC 2017 的官方分割任务是二分类，只有病灶/背景，谈不上多类别。真正适合多类别语义分割实验的是 ISIC 2018 的 Task 2 属性分割：一张皮肤镜图像里，除了要分割出整体病灶，还要区分病灶内部的 5 种皮肤镜特征——色素网、负性网络、条纹、小米粒样囊肿、小球。这 5 类特征在临床上有独立意义，也是标题里“多类别分割”最常见的落地场景。

ISIC 2018 Task 2 的属性掩码是 PNG 彩色图，不同颜色代表不同皮肤镜特征，不是像 Cityscapes 那样每个像素一个整数 id。读取后需要把 RGB 颜色映射到类别 index，这个映射关系随数据版本不同会略有差异，我一般是直接从训练集掩码里统计出现过的 RGB 三元组，再按颜色到类别名的 JSON 映射文件生成一张查找表。更稳妥的做法是构建一个颜色字典，推理时也走同一套映射，避免训练和验证时类别错位。

一个小球在 256x256 的输入图像里往往只有 30~100 个像素，而背景经常占一半以上。这种极度不平衡的标签分布，决定了训练时不能只用一个普通的交叉熵损失，类别加权和辅助损失几乎是必需品。我会在第四节详细说损失函数怎么设，这里先把数据加载的事解决好。

3.2 数据增强与归一化的尺度约定

ISIC 原始图像是 1920x1080 或接近这个量级的高分辨率皮肤镜照片，不能直接喂给网络。我的做法是先按短边缩放到 512，再做随机裁剪到训练尺度，而不是直接全图 resize。因为全图缩到 256 会把 globules 这种小结构直接缩没了，模型想学也学不到；先缩放再随机裁剪，等于在训练时保留了局部细节的“放大镜”效果。

数据增强方面，几何变换用随机翻转和旋转就够，ISIC 图像没有方向敏感性，90 度旋转可以放心加。颜色抖动对皮肤镜图像要保守一点：皮肤镜图像的色调受设备影响较大，但过度调整亮度饱和度会让模型学到错误的颜色先验。我的参数是 brightness 0.1、contrast 0.1、saturation 0.05，saturation 动得最少。另外不要对掩码做任何插值型 resize，掩码用最近邻插值，否则类别边界会混入不存在的中间值。

归一化用 ImageNet 的均值标准差还是用数据集自算的，我建议自算。ISIC 图像整体偏暗红，直接套 ImageNet 统计量会让网络在第一个 epoch 就看到偏置的输入分布，收敛反而慢。自算统计量只需要在 DataLoader 里对训练集扫一遍，成本很低，收益却很直接。

3.3 Dataset 类和自适应尺度读取的实现

下面是我常用的 ISIC 多类别 Dataset 骨架。核心是两点：把 RGB 掩码转换成长整型类别 id；返回原始尺寸图像和掩码，把 resize 的决策留给训练循环而不是写死在 Dataset 里。

import os import numpy as np import torch from torch.utils.data import Dataset from PIL import Image class ISICTask2Dataset(Dataset): def __init__(self, image_dir, mask_dir, color_map, crop_size=256): self.image_paths = sorted([ os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.endswith('.jpg') ]) self.mask_dir = mask_dir self.color_map = color_map # dict: RGB tuple -> class id self.crop_size = crop_size def rgb_to_label(self, mask_rgb): # mask_rgb: (H, W, 3) uint8 PIL 转出的数组 h, w = mask_rgb.shape[:2] label = np.zeros((h, w), dtype=np.int64) for rgb, cls_id in self.color_map.items(): match = (mask_rgb == np.array(rgb)).all(axis=-1) label[match] = cls_id return label def __getitem__(self, idx): img = Image.open(self.image_paths[idx]).convert('RGB') mask_path = os.path.join(self.mask_dir, os.path.splitext(os.path.basename(self.image_paths[idx]))[0] + '_segmentation.png') mask_rgb = np.array(Image.open(mask_path).convert('RGB')) label = self.rgb_to_label(mask_rgb) # (H, W) int64 img = np.array(img) # 随机裁剪 h, w = label.shape top = np.random.randint(0, h - self.crop_size + 1) if h > self.crop_size else 0 left = np.random.randint(0, w - self.crop_size + 1) if w > self.crop_size else 0 img = img[top:top + self.crop_size, left:left + self.crop_size] label = label[top:top + self.crop_size, left:left + self.crop_size] img = torch.from_numpy(img.transpose(2, 0, 1)).float() / 255.0 label = torch.from_numpy(label).long() return img, label def __len__(self): return len(self.image_paths)

这段代码的逻辑是先读图像和 RGB 掩码，通过color_map把每个像素的 RGB 三元组映射成类别 id，然后做随机裁剪。我特意把 crop 放在 Dataset 里而不是放到 collate 外面，是因为每个样本的裁剪位置独立会更自然；如果你做的是全图训练，再把裁剪去掉改成 resize。

参数说明：crop_size我训练时取 256，验证时取 384 或直接 resize 到 320。crop_size 太小时小目标还是容易被裁掉，所以我在第四节会用自适应多尺度训练来补偿这一点。color_map需要根据你拿到的数据集实际颜色构建，构建方式是从掩码 PNG 里统计所有出现过的 RGB 值，再和官方标注的颜色名称对照；不要硬编码颜色，不同镜像站和版本的颜色定义不完全一致。

4. 自适应多尺度训练：随机尺度、深监督和类别加权损失

4.1 固定尺度训练为什么会让小目标间歇性漏检

固定输入尺度训练是语义分割模型最常见的翻车点。尺度取 256，globules 在缩略图上只剩几个像素，经过几轮下采样到 stride 32 的特征层时，信息基本丢了；尺度取 512，小目标保住了，显存翻四倍，而且模型容易在背景纹理上过拟合，验证集 Dice 反而下降。ISIC 的病灶直径从几毫米到几厘米都有，皮肤镜图像的拍摄距离也不固定，单一的输入尺度本质上是在赌“目标大小落在模型尺度覆盖范围内”。

自适应多尺度训练的出发点很朴素：训练过程中动态改变输入分辨率，让网络在不同尺度下看同一批数据。我采用的具体做法是 batch 级随机尺度采样——每个 batch 从预定义的尺度集合里随机抽一个，把所有图像和掩码统一缩放到该尺度再进网络。尺度集合我常用 {192, 224, 256, 320, 384}，小尺度让模型看到完整病灶轮廓，大尺度让模型看清内部纹理细节。遥感图像语义分割领域很早就有类似做法，ISIC 这种医学图像和遥感影像在“目标尺度跨越大”这一点上非常像，跨领域迁移这个经验是可行的。

4.2 自适应多尺度训练的落地参数和训练循环

多尺度训练要生效，关键不在“随机”，而在“尺度变化时掩码插值方式不能错”。图像用双线性插值没问题，掩码必须用最近邻。第二个关键是尺度不要在每个 batch 里跳得过于剧烈，否则模型刚适应了 192 的纹理尺度，下一个 batch 跳到 384，BN 层的统计数据会被搅乱。我的做法是把尺度集合分成大小两组，前 30% 的 epoch 用 {192, 224, 256} 做热身，后 70% 的 epoch 用全集合。

import random import torch.nn.functional as F def adaptive_resize_batch(images, masks, target_size): # images: (B, 3, H, W) 归一化后的图像 # masks: (B, H, W) 类别 id images = F.interpolate(images, size=(target_size, target_size), mode='bilinear', align_corners=False) masks = masks.unsqueeze(1).float() masks = F.interpolate(masks, size=(target_size, target_size), mode='nearest') return images, masks.squeeze(1).long() scale_sets = { 'warmup': [192, 224, 256], 'full': [192, 224, 256, 320, 384], } # 训练循环内伪代码 for epoch in range(epochs): scale_pool = scale_sets['warmup'] if epoch < int(epochs * 0.3) else scale_sets['full'] for images, masks in train_loader: target_size = random.choice(scale_pool) images, masks = adaptive_resize_batch(images, masks, target_size) logits = model(images) # 深监督模式下是 list loss = multi_scale_loss(logits, masks) optimizer.zero_grad() loss.backward() optimizer.step()

训练循环里的逻辑是：每个 batch 独立抽样尺度，做一次整体 resize 再喂模型。multi_scale_loss接收的是各解码层输出组成的列表，每一层输出先插值到masks当前的分辨率再计算损失，五个尺度的损失相加。

参数上需要注意三点。第一，尺度集合中最大值不要超过模型预训练时的输入分辨率太多，否则 Position 编码或 BN 统计量会不稳定。第二，random.choice是均匀采样，如果你想重点强化大尺度，可以把集合写成[192, 224, 256, 320, 384, 384]让大尺度出现频率更高。第三，batch size 受限于显存时，优先保证 batch size 不低于 8；多尺度训练本来就增加尺度方差，batch 再小的话 BN 统计量会抖得厉害。显存不足的常见处理是改成gradient_accumulation，梯度累计步数设 2 或 4，等效 batch size 不变。

4.3 损失函数与评估指标：类别加权 Dice 和逐类 IoU

ISIC 多类别分割的损失函数，我强烈不建议只用交叉熵。背景像素占比经常超过 60%，交叉熵会被背景梯度淹没，小类别的召回率很难拉起来。我用的是逐类 Dice 损失和交叉熵的加权组合：每个类别单独算 Dice，再按类别重要度加权求和，最后加一个 0.4 权重的 CE 稳住分类边界。

类别权重的设定不要拍脑袋。我的习惯是先跑一个 10 epoch 的快速实验，统计验证集上每类别的像素占比，然后按像素占比的倒数做平方根归一化作为权重。globules 占比最低，权重最高；背景占比最高，权重最低。极端权重会放大噪声标签的影响，所以平方根压缩一下。损失的计算在深监督下会放大五次再加总，这个细节容易让人困惑，实现时要注意五路损失的 relative weight，我的经验是浅层监督给 0.3，深层监督给 1.0，最深层给 1.0。

验证指标用逐类 IoU 和 mIoU，不要只盯整体 Dice。整体 Dice 高但 globules 的 IoU 只有 0.1 的情况很容易出现，因为 globules 在验证集里像素占比极小，对整体指标贡献微乎其微。我每 5 个 epoch 在验证集上算一次逐类 IoU，如果某个类别的 IoU 连续两个验证周期不涨，我就会把该类别的 Dice 权重往上调一点，这是最直接的反馈闭环。

5. 训练和验证的常见坑：从标签读到类别失衡

5.1 掩码类别值不是 0 和 1：拿 RGB 属性图当单通道标签

现象：训练 loss 一直在 1.5 左右降不下去，验证集分割结果全是背景。原因：ISIC Task 2 的属性掩码是 RGB 三通道彩色图，误把整张 PNG 当成了三通道输入和标签对比，或者只取了其中一个通道，导致标签语义完全错乱。解决：必须先通过颜色映射表把 RGB 转成 int64 的类别 id，转完后用np.unique检查一下训练集和验证集的类别集合是否一致。这个检查只要一行代码，但能拦住绝大多数标签加载问题。

5.2 有一个类几乎没出现过：类别数量对不上标签顺序

现象：训练时 loss 能降，但某个类别在验证集上的 IoU 始终是 0，训练集里该类别也没几个样本。原因：颜色映射表和数据集版本不匹配，比如官方给的颜色定义有 6 个类别，你的映射表漏掉了一个，导致该类别全部被映射成背景。解决：不要在代码里写死颜色，直接从训练集掩码里统计所有出现的 RGB 值，和官方 JSON 对照，缺哪个补哪个；如果某一类别的像素占比小于 0.5%，把它单独拿出来确认标注文件是否完整。

5.3 显存爆炸但模型输出分辨率还是不够：缩小裁剪而不是缩整体尺度

现象：把输入尺度调到 512，显存直接 OOM，但模型对 globules 的检测率还是不行。原因：大尺度全图输入让显存开销集中在浅层特征图上，浅层特征图分辨率高、通道数大，占用远超深层特征。解决：保持输入尺度 512，但把随机裁剪改成带重叠的大裁剪，比如 512 的图像裁 384 的区域，batch 内不同样本裁不同位置，这样既保留了大尺度细节又控制了显存。推理阶段再用滑窗预测拼接。

5.4 多尺度训练让验证集 Dice 震荡：BN 统计量被尺度变化搞乱了

现象：训练 loss 在下降，验证集的 Dice 每个 epoch 都在大幅波动，模型甚至偶尔出现全背景输出。原因：batch 级随机尺度让每个 batch 的输入统计分布都不一样，BN 的 running mean 和 running var 在多个输入尺度之间反复横跳。解决：前 30% 的 epoch 固定用小尺度集合，等模型主干稳定后再放开大尺度；另外验证时统一 resize 到 320，不要在验证集上也做随机尺度。如果问题依旧，把 BatchNorm 换成 GroupNorm，虽然收敛略慢，但对尺度变化的鲁棒性明显更好。

5.5 训练结果好看但实际图片上效果差：ISIC 数据分布和真实临床图像有偏移

现象：在 ISIC 测试集上 mIoU 0.72，拿到自己手机拍的皮肤镜照片或不同设备采集的图像上，分割结果明显退化。原因：ISIC 图像本身来自多家医院多台设备，但训练集和测试集仍存在设备风格偏移；更重要的是，数据集中病灶已经经过筛选，和真实门诊遇到的情况分布不同。解决：训练时加入更保守的颜色增强和灰度化增强，把颜色域扩大；部署时先做设备校准，对输入图像做颜色迁移到训练集的统计分布上。没有哪个公开数据集能替你解决这个问题。

6. 训练结果复盘和推理后处理：用 TTA 和连通域把分割图变干净

模型训练完，验证集 mIoU 到了 0.75 以上，不等于可以直接拿出去用。分割输出里常见两类问题：一类是小类别在边缘区域出现零星误检，另一类是同一病灶内部类别标签不连续，看起来像“撒了一把芝麻”。我的经验是两步后处理：TTA 和连通域分析。

TTA 我用的是水平翻转加多尺度推理。推理时把输入图像分别缩放到 256、320、384 三个尺度各预测一次，再把结果全部 resize 回原图尺寸，对概率图取平均后做 argmax。这么做能让小目标的边界稳定性明显提升，代价是推理时间变成原来的 6 倍（3 个尺度乘以 2 个翻转），但对离线分析任务完全值得。如果部署环境对延迟敏感，就只保留水平翻转，效果也有提升。

def predict_with_tta(model, img, scales=[256, 320, 384], flip=True): model.eval() prob_acc = None with torch.no_grad(): for scale in scales: x = F.interpolate(img, size=(scale, scale), mode='bilinear', align_corners=False) logits = model(x)[0] # 取最深层输出 prob = torch.softmax(logits, dim=1) if flip: prob_flip = torch.softmax(model(torch.flip(x, dims=[3]))[0], dim=1) prob = (prob + torch.flip(prob_flip, dims=[3])) / 2 prob = F.interpolate(prob, size=img.shape[-2:], mode='bilinear', align_corners=False) prob_acc = prob if prob_acc is None else prob_acc + prob return prob_acc / len(scales) # (B, num_classes, H, W)

这段逻辑是把每个尺度的 softmax 概率插值回原始分辨率再累加，最后取平均。多个尺度的概率直接平均，而不是对 argmax 结果投票，这样可以保留概率幅度的差异，小类别不至于被大类别压制。

连通域后处理只处理预测概率低于某个阈值的像素：先把模型输出的类别 id 一个个提取连通域，删除面积小于阈值的连通域，比如面积小于 50 像素的小噪点置为背景。这一步对 globules 这类离散小目标尤其重要，能去掉大量零散误检。阈值我在 ISIC 上一般取 50~100 像素，具体用验证集扫一遍确定。

我之前有一个皮肤镜项目，验证集 Dice 做得挺高，部署到测试图像上才发现，很多“假阳性”其实是模型对设备强反光的误判，不是算法问题，是训练集里缺这类样本。后来我在增强管线里加了局部对比度拉伸和反光区域模拟，把这类场景显式暴露给模型，问题才真正缓解。做医学图像分割，后处理和数据分布修正永远比调损失函数权重更值得先投入。希望这篇笔记能帮你把 Unet3+ 在 ISIC 上的多类别分割项目少走几段弯路。

本文还有配套的精品资源，点击获取