Unet++实战：超声肾脏图像分割的跨模态语义分割与部署技巧

简介：面向医学图像分析及深度学习语义分割研究者、入门学习者的Unet++肾脏分割工程，聚焦超声图像中跨模态的肾脏区域提取，覆盖数据加载、网络搭建、训练验证与结果评估等完整环节。工程内置约3.5k组图像与标签数据，全部代码经过测试，支持自定义参数与数据路径，可一键运行无需繁琐配置，大幅降低复现与二次开发门槛。资源包共2000个文件，主体为1993张png图像数据及掩码，另有5个py脚本和2个txt说明文档，压缩包整体约259.24MB，目录划分清晰，便于按需调用。目前已有230人学习下载，适合从事医学影像、计算机视觉的学生或工程师，既可直接用于超声肾脏分割，也可将数据与代码迁移到其他分割场景进行快速验证，是教学、科研和算法对比的实用参考。

1. 为什么是 Unet++：超声肾脏分割的跨模态难点与选型逻辑

超声图像里的肾脏边界几乎从来不是一条清晰的线，而是由大量斑点噪声、声影和不同组织界面混叠出来的“模糊带”。同一个肾在不同探头频率、不同患者体脂率、甚至不同呼吸相下，灰度分布和纹理特征都会整体漂移，这就是跨模态场景下语义分割最难的地方。传统分割网络往往在特定模态上过拟合，换一台超声设备或调一下增益，Dice 就会肉眼可见地往下掉。Unet++ 的核心改进是把 U-Net 的单一长跳跃改成密集嵌套的跳跃连接，让上采样路径每一层都能看到不同尺度的编码特征，相当于在模型内部做了多尺度感受野融合，对超声这种低信噪比图像更友好。这个项目恰好在 Unet++ 基础上给出了完整的肾脏分割源码，搭配约 3.5k 张 PNG 原图和对应标签，代码测试通过后一键即可运行，适合想直接拿到一个开箱即用的语义分割基线、又不想从零攒数据管线的工程师。

2. 数据集与预处理：3.5k 超声肾脏图像的标签格式与数据划分

拿到源码包后第一件事不是看模型，而是确认数据组织方式。压缩包里那批以数字命名的 PNG，比如 3145.png、3147.png、3150.png，基本是连续帧序列，每张原始超声图都对应一张二值掩膜，但掩膜的存放路径、命名后缀、色彩模式决定了你读数据的方式。多数此类项目会把这 3.5k 样本拆成 train/val/test 三个目录，也可能把所有图像放在 images 下、标签放在 masks 下。打开data/目录确认一遍，比直接跑train.py重要得多，因为后面所有准确率指标都取决于这里。

2.1 原始数据组成：PNG 图像与掩膜的对齐关系

我建议你先把目录结构完整列出来，再核对图像尺寸、通道数和掩膜的像素值。超声图一般是 8 位灰度 PNG，但有些采集软件会导出 16 位深度，直接以cv2.imread的默认方式读会把 16 位转成 8 位并截断动态范围，肾脏内部的弱回声区可能直接被裁掉。用一行脚本做基础检查：

python -c " import cv2, glob, numpy as np imgs = sorted(glob.glob('data/images/*.png')) masks = sorted(glob.glob('data/masks/*.png')) print('samples:', len(imgs), len(masks)) a, b = cv2.imread(imgs[0], cv2.IMREAD_UNCHANGED), cv2.imread(masks[0], cv2.IMREAD_UNCHANGED) print('img shape/dtype:', a.shape, a.dtype) print('mask shape/dtype:', b.shape, b.dtype, 'values:', np.unique(b)) "

这段脚本有几个意图：第一，确认图像和标签数量一致，避免后面训练时出现索引越界；第二，用IMREAD_UNCHANGED读原始位深，若输出 dtype 是uint16，后续就要按 16 位归一化；第三，打印掩膜的np.unique结果，看标签是 0/255 还是 0/1，这将直接影响损失函数里的num_classes与阈值判断。如果掩膜是 0/255，我一般会在Dataset里直接除以 255 转成 0/1，省得训练和推理两套逻辑打架。

另外文件名是纯数字且没有前缀，说明这个数据集可能来自视频抽帧，帧与帧之间时间相关性很强。若直接按 8:1:1 从头到尾切分，验证集和测试集会与训练集高度相似——因为相邻帧的肾脏形态几乎没变。更好的做法是先按照文件名序号做间隔采样，或者按患者维度聚类后再划分。如果项目源码里已经提供了split_data.py，优先使用它的划分结果，因为作者测试时用的就是那套划分，复现出的指标才具有可比性。

2.2 预处理流水线：窗宽窗位、尺寸归一化与数据增强

超声图像的灰度分布集中在很窄的区间，直接除以 255 进网络，对比度会不足。常见的做法是先做百分位裁剪，把 1% 到 99% 分位的灰度拉伸到 0~1，再归一化。这样处理比固定mean/std更稳，因为跨模态场景下不同机器的绝对灰度含义完全不同。尺寸统一方面，Unet++ 因为深层密集连接的存在，显存占用比普通 U-Net 高不少，我一般会把输入缩到 256×256 或 320×256。肾脏是长条形脏器，等比缩放会损失一部分空间分辨率，直接正方形 resize 虽然变形但模型仍能学出形状，多数工程上这样做。

数据增强我倾向于保守组合：水平翻转、小角度旋转、轻微缩放和亮度扰动。超声的特殊点是斑点噪声构成纹理信息，不能用高斯模糊或 Gamma 变换去破坏它的原貌。弹性形变在某些论文里有效，但这个项目的 3.5k 数据量不算小，简单几何增强就够防止过拟合。下面的代码是自定义 Dataset 中比较实用的写法：

import torch from torch.utils.data import Dataset import cv2 import numpy as np class RenalDataset(Dataset): def __init__(self, img_paths, mask_paths, size=(256, 256), aug=False): self.img_paths = img_paths self.mask_paths = mask_paths self.size = size self.aug = aug def __len__(self): return len(self.img_paths) def preprocess(self, img): # 红外与超声图像动态范围差异大，用分位拉伸代替固定 mean/std lo, hi = np.percentile(img, (1, 99)) img = np.clip((img.astype(np.float32) - lo) / max(hi - lo, 1e-6), 0, 1) img = cv2.resize(img, self.size, interpolation=cv2.INTER_LINEAR) return img def __getitem__(self, idx): img = cv2.imread(self.img_paths[idx], cv2.IMREAD_UNCHANGED) mask = cv2.imread(self.mask_paths[idx], cv2.IMREAD_UNCHANGED) img = self.preprocess(img) mask = cv2.resize(mask, self.size, interpolation=cv2.INTER_NEAREST) mask = (mask > 127).astype(np.float32) if self.aug: # 随机水平翻转，针对左右对称的肾脏图像 if np.random.rand() > 0.5: img = img[:, ::-1].copy() mask = mask[:, ::-1].copy() # 旋转范围控制在 ±15°，避免破坏肾的长轴形态 angle = np.random.uniform(-15, 15) M = cv2.getRotationMatrix2D((self.size[0] / 2, self.size[1] / 2), angle, 1.0) img = cv2.warpAffine(img, M, self.size, flags=cv2.INTER_LINEAR) mask = cv2.warpAffine(mask, M, self.size, flags=cv2.INTER_NEAREST) img_t = torch.from_numpy(img).unsqueeze(0).float() mask_t = torch.from_numpy(mask).unsqueeze(0).float() return img_t, mask_t

预处理时注意一个细节：resize 掩膜必须用INTER_NEAREST，如果用线性插值会让边缘产生中间灰阶，训练时损失函数会把介于 0 和 1 之间的像素当成目标，导致分割边界模糊。旋转和翻转后必须.copy()，因为cv2.warpAffine返回的可能是原数组的视图，连续两次操作会互相干扰。

2.3 数据划分与 Torch Dataset 实现

确认完数据格式后，按序号间隔切分是个稳健做法。假设文件 ID 是字符串整数，我按 80/10/10 切分时会先对数字排序，再用取模方式抽取验证集：

import os, glob imgs = sorted(glob.glob('data/images/*.png')) masks = sorted(glob.glob('data/masks/*.png')) ids = [int(os.path.basename(p).split('.')[0]) for p in imgs] order = sorted(range(len(ids)), key=lambda i: ids[i]) train_idx = [i for i, o in enumerate(order) if o % 10 < 8] val_idx = [i for i, o in enumerate(order) if o % 10 == 8] test_idx = [i for i, o in enumerate(order) if o % 10 == 9] train_dataset = RenalDataset([imgs[i] for i in train_idx], [masks[i] for i in train_idx], aug=True) val_dataset = RenalDataset([imgs[i] for i in val_idx], [masks[i] for i in val_idx], aug=False) test_dataset = RenalDataset([imgs[i] for i in test_idx], [masks[i] for i in test_idx], aug=False)

这段切分代码的关键是o % 10的映射关系：同余类的样本均匀分布在整个序列上，避免连续帧全被分到同一侧。如果你的命名里有患者 ID 前缀，按前缀分组会更严谨。实际项目里这 3.5k 数据如果来自几十个视频片段，同一片段内相似度极高，把片段整体放进训练或验证才合理，否则验证集指标会虚高，换到真实新数据性能立刻缩水。

3. Unet++ 模型构建与密集跳跃连接实现

Unet++ 与 U-Net 最本质的区别在于跳跃连接不再是单纯的 encoder 特征直连 decoder，而是把不同层级的特征做了嵌套叠加。对于超声肾脏这种边界属于弱边缘、内部有大量纹理噪声的区域，密集跳跃让深层解码器既能拿到高分辨率浅层边缘信息，又不会丢失低分辨率语义信息。在工程实现上，模型体积比 U-Net 大，训练速度会慢 20%-30%，但分割精度提升明显，尤其在 Dice 不高的小目标病灶场景。

3.1 编码器与解码器的通道设计

绝大多数源码实现采用 5 层编码器，通道数按照 32、64、128、256、512 递增，也有从 64 起步的，显存不够时可以把 32 降成 16。解码器维度与编码器对称。每个卷积块通常是两次 3×3 卷积加 BN 加 ReLU。以下给出一个自包含的 Unet++ 核心模块代码，没有依赖除 PyTorch 之外的任何重量级库，适合直接嵌入项目：

import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), nn.Conv2d(out_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True) ) def forward(self, x): return self.conv(x) class Up(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.up = nn.ConvTranspose2d(in_ch, out_ch, 2, stride=2) def forward(self, x): return self.up(x)

我故意把ConvBlock和Up从完整网络里拆出来，因为项目源码里只要看到这两个类，基本就能推测整体结构。ConvTranspose2d上采样比双线性插值稍慢但可学习性更强，超声边界这种非刚性形变特征，可学习上采样通常优于固定插值。padding=1保证特征图尺寸不减，便于后续节点拼接。

3.2 密集跳跃连接的代码实现

Unet++ 不是简单地把 U-Net 的各个阶段横向连接，而是在每个节点X^{i,j}上重复聚合前一层同尺度特征和上一层低尺度特征。下面给出一个三层的简易实现来说明函数关系：

class NestedUNet(nn.Module): def __init__(self, in_ch=1, num_classes=1, base_ch=32): super().__init__() # 编码器：每个阶段一个卷积块 self.enc1 = ConvBlock(in_ch, base_ch) # X 0,0 self.enc2 = ConvBlock(base_ch, base_ch*2) # X 1,0 self.enc3 = ConvBlock(base_ch*2, base_ch*4) # X 2,0 # 下采样 self.pool = nn.MaxPool2d(2) # 解码器节点 self.up12 = Up(base_ch*2, base_ch) # X 0,1 的上采样输入 self.up23 = Up(base_ch*4, base_ch*2) # X 1,2 self.dec01 = ConvBlock(base_ch*2, base_ch) # 拼接后融合 self.dec02 = ConvBlock(base_ch*3, base_ch) # 更多层拼接 self.dec12 = ConvBlock(base_ch*2 + base_ch*2, base_ch*2) def forward(self, x): # 编码路径 x00 = self.enc1(x) # 保持原始尺寸 x10 = self.enc2(self.pool(x00)) # 1/2 尺寸 x20 = self.enc3(self.pool(x10)) # 1/4 尺寸 # 第一层解码 x01 = self.dec01(torch.cat([x00, self.up12(x10)], dim=1)) # 第二层解码，聚合 x01 和 x20 x11 = self.dec12(torch.cat([x10, self.up23(x20), self.up12(x01)], dim=1)) # 继续向上，贯穿整个嵌套结构 return torch.sigmoid(x01)

前向过程里每一个拼接torch.cat都对应密集跳跃的一个节点。注意x11拼接了三个来源：来自同编码层的x10、来自更深层的x20、以及来自浅层解码输出的x01。这个操作让网络同时看到不同下采样倍率的特征图，是 Unet++ 的难点与精髓所在。如果你的显存不够，可以去掉x01那一支，网络会退化成类似 U-Net 的结构，但指标会小幅下降。

3.3 深度监督与损失函数组合

项目源码里通常会带一个deep_supervision开关。开启后，网络不只输出最终层，而是每一层解码器都输出分割图，训练时把各层输出的 loss 加权相加。对于超声肾脏这种标签噪声不小的数据集，深度监督相当于给浅层特征也提供了梯度信号，能加速收敛。使用时只在train=True时启用多输出，推理时只用最后一层，避免额外计算。

损失函数上，二值分割最常用BCEWithLogits + DiceLoss组合。Dice 损失缓解正负样本极端不平衡，BCE 提供更稳定的像素级梯度。代码如下：

class DiceBCELoss(nn.Module): def __init__(self, smooth=1e-6): super().__init__() self.smooth = smooth self.bce = nn.BCEWithLogitsLoss() def forward(self, logits, targets): probs = torch.sigmoid(logits) # 展平后计算 batch 维度上的 Dice inter = (probs * targets).sum(dim=(1, 2, 3)) union = probs.sum(dim=(1, 2, 3)) + targets.sum(dim=(1, 2, 3)) dice = (2.0 * inter + self.smooth) / (union + self.smooth) return self.bce(logits, targets) + (1 - dice.mean())

smooth参数是数值稳定项，防止某一 batch 里背景全为 0 时除零。对超声图像，我习惯把 BCE 和 Dice 权重设为相等，即直接用BCE + Dice，因为肾脏区域占比通常在 5%-15% 之间，两者平衡比较合适。

4. 训练配置与一键运行：参数调优与验证指标

这个项目标称“一键运行”，说明作者已经把训练入口封装得很干净。你能改的通常是config.py或args.py里的超参数。不要一上来就改网络结构，先把学习率、batch size 和 loss 系数跑稳，再动模型。下面给出我基于这个项目常用的一组配置，以及背后的选择逻辑。

4.1 超参数设置与优化器选择

我偏好 AdamW 是因为它解耦了权重衰减与学习率，在 Unet++ 这种带大量 BN 的网络里更稳定。训练初期前 5 个 epoch 不用 warmup，因为预训练权重没有，直接用小学习率即可。如果你的 GPU 是 8GB 显存，batch size 8 会更可靠，否则显存溢出会直接打断整个训练。

optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4, weight_decay=1e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=80)

T_max设置成总 epoch 数，余弦曲线会在最后一个 epoch 降到接近 0。如果你的训练中断需要恢复，最好把optimizer.state_dict()和scheduler.state_dict()都存下来，否则恢复后再启动学习率周期会错位，相当于用更小的步长训练。

4.2 训练循环与模型保存逻辑

训练循环本身并不复杂，关键在验证时不能只用 loss 判断好坏。我每次都同时计算 Dice 和 IoU，并保留val_dice最高的权重。在保存模型时，尽量保存完整 state_dict 而非整个 model 对象，这样换 Python 小版本也不会出问题。

best_dice = 0.0 for epoch in range(80): model.train() train_loss = 0.0 for imgs, masks in train_loader: imgs, masks = imgs.cuda(), masks.cuda() outputs = model(imgs) # deep supervision 时返回 list if isinstance(outputs, list): loss = 0.5 * DiceBCELoss()(outputs[0], masks) + \ 0.3 * DiceBCELoss()(outputs[1], masks) + \ 0.2 * DiceBCELoss()(outputs[-1], masks) else: loss = DiceBCELoss()(outputs, masks) optimizer.zero_grad() loss.backward() optimizer.step() train_loss += loss.item() model.eval() val_dice = 0.0 val_iou = 0.0 with torch.no_grad(): for imgs, masks in val_loader: imgs, masks = imgs.cuda(), masks.cuda() pred = torch.sigmoid(model(imgs)[-1] if isinstance(model(imgs), list) else model(imgs)) pred = (pred > 0.5).float() dice = (2 * (pred * masks).sum() + 1e-6) / (pred.sum() + masks.sum() + 1e-6) iou = (pred & masks.bool()).sum() / (pred | masks.bool()).sum() val_dice += dice.item() val_iou += iou.item() val_dice /= len(val_loader) val_iou /= len(val_loader) if val_dice > best_dice: best_dice = val_dice torch.save(model.state_dict(), 'best_renal_unetpp.pth')

这段代码注意两点：一是model(imgs)在验证阶段被调用了两次，有冗余计算。我建议把model(imgs)先赋值给outputs再取最后一项，避免不必要的推理耗时。二是DiceBCELoss每次都新建实例，对性能影响微乎其微，但代码可读性稍差，可以在循环外实例化。

4.3 验证指标：Dice、IoU 与 Hausdorff 距离

在超声肾脏分割任务中，Dice 不足 0.9 不一定代表模型失败，因为超声图像里肾窦脂肪和周围组织的灰度差异非常小。我通常会用 Dice 和 IoU 做主要筛选，再用 Hausdorff 距离评价边界误差，因为医生更关注轮廓线的几何准确性，而不是像素交叠比。只打印 Dice 但不上传可视化结果是很多项目跑完却没有说服力的原因。

如果你的源码里没有 Hausdorff 计算逻辑，可以用monai库中的实现，或自己用scipy.ndimage写边界距离：

from scipy.ndimage import distance_transform_edt def hd95(pred, mask): # 计算单向 95% Hausdorff 距离（单位像素） pred_b = pred > 0.5 mask_b = mask > 0.5 if not pred_b.any() or not mask_b.any(): return 0.0 dt_pred = distance_transform_edt(~pred_b) dt_mask = distance_transform_edt(~mask_b) distances = dt_mask[pred_b] if len(distances) == 0: return 0.0 return np.percentile(distances, 95)

95% 分位而不是最大值，是为了抵御个别异常噪声点的干扰。超声图像边界本身不锐利，最大 Hausdorff 距离可能被一个离群点拉到几十个像素，95% 更能反映实际误差。

5. 跨模态迁移技巧：超声图像推理时如何避免边界过分割

模型训好后，部署到新超声设备或新视频序列时，最常见的现象是分割图整体膨胀，肾脏边界向外多出一圈。这通常不是模型没学好，而是输入灰度分布和训练集不一致。这里分享几个我在推理阶段验证有效的技巧。

5.1 灰度统计归一化与滑动窗口预测

推理阶段的预处理必须与训练时严格一致，这一点最容易被忽略。如果你训练时用的百分位裁剪是在每张图上单独计算的，推理时也要对每张图单独计算。但如果新图背景大量黑色区域，单独分位裁剪会把肾脏局部对比度过度放大。我一般先做一次全局固定范围截断，比如截到 0.5% 到 99.5% 分位，再做归一化，避免黑色边框参与统计。

对于大尺寸超声图，滑动窗口预测是常规做法。如果图像是 800×600，直接 resize 到 256×256 会把肾脏压得很小，分割精度下降。滑动窗口按 256 步长 128（重叠 50%）裁剪，预测后把每个窗口的概率图拼回原图大小，重叠区域取平均：

def slide_predict(model, img, window=256, stride=128): h, w = img.shape[:2] prob_map = np.zeros((h, w), dtype=np.float32) count_map = np.zeros((h, w), dtype=np.float32) with torch.no_grad(): for y in range(0, h - window + 1, stride): for x in range(0, w - window + 1, stride): patch = img[y:y+window, x:x+window] patch_t = torch.from_numpy(patch).unsqueeze(0).unsqueeze(0).float().cuda() pred = torch.sigmoid(model(patch_t))[0, 0].cpu().numpy() prob_map[y:y+window, x:x+window] += pred count_map[y:y+window, x:x+window] += 1 # 边界不足一个窗口时补一次完整预测 return prob_map / np.maximum(count_map, 1)

重叠一半的目的是让窗口边缘的低置信区域被相邻窗口平均掉，减少拼缝效应。如果你的count_map里有像素值为 0，说明图像边缘没被任何窗口覆盖，需要把窗口步长改成能整除尺寸的数值，或者在遍历时额外补四边。

5.2 后处理：连通域筛选与形态学闭合

模型输出的概率图经过阈值 0.5 后，往往存在散落的伪点或细小的空洞。肾脏应该是单一连通区域。使用cv2.connectedComponentsWithStats找到最大连通域，把其他区域全部清除，能显著提升边界完整性。之后再做一次闭运算，填补肾门处的狭长凹陷：

import cv2 import numpy as np def postprocess(mask): # mask: 0/1 uint8 num_labels, labels, stats, _ = cv2.connectedComponentsWithStats(mask, 8) if num_labels <= 1: return mask sizes = stats[1:, cv2.CC_STAT_AREA] max_idx = np.argmax(sizes) + 1 clean = np.zeros_like(mask) clean[labels == max_idx] = 1 # 用 5x5 核做闭运算，弥合边缘小缺口 kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) clean = cv2.morphologyEx(clean, cv2.MORPH_CLOSE, kernel) return clean

这一步对由气声、混响造成的孔洞特别有效。核大小不要超过 5，否则会把相邻组织也粘连进来。如果你的掩膜标注里肾和肾窦内部有天然低回声区，形态学闭运算会在这些区域填上本不属于肾脏的结构，所以这步更适合只在最终可视化时使用，而不动原图。

5.3 失败案例与修复

我遇到比较典型的情况是：在原始训练集上 Dice 达到 0.94，但换到一台腹部探头深度更深的超声机上，Dice 掉到 0.87。对比图像后发现，新样本的肾脏尺寸更小，且周围有大片高回声的肝组织。回看训练集增强参数，旋转角度只有 ±15°，亮度扰动范围太小。修复方式是让模型在推理前不做任何过强归一化，只裁剪掉上下方的黑色无关区域，保留原始比例再预测。实际效果比重新训练更好，说明跨模态问题未必出在模型容量上，而在于输入分布的稳定性。

另一个容易踩的坑是标签反向。有些标注软件把背景标为 1，肾脏标为 0，如果不小心把分割结果取反，会在验证时得到一个误差很大的指标。我的习惯是在训练前写一个保存可视化 mask 叠加的脚本，把训练集里前 5 张图像与标签叠图输出，人工扫一眼确认肾脏区域是白色而非黑色。这个简单步骤能挡住一半以上的低级错误，比任何调参都值。

本文还有配套的精品资源，点击获取