简介：面向医学图像语义分割与超声成像研究，这份深度学习数据集围绕臂丛神经（Brachial Plexus）区域构建，适用于医学影像专业学生、算法工程师及科研人员开展语义分割模型的训练与验证。数据来自超声背景下的神经图像，包含明确的解剖结构标注，对辅助诊断、手术规划等场景具有参考价值。包体共2000个文件，以PNG格式的图像与对应掩膜为主，另含类别说明txt文件及show.py辅助脚本，压缩包总大小约442.82MB。数据已预设训练集与验证集划分，其中训练集约1900张图像及对应掩膜，验证集约460张，且已完成对比度拉伸、resize等图像增广处理，可直接用于常见分割网络（如U-Net系列）的训练与性能评估。附带的show.py能快速将掩膜叠加到原图上查看标注效果，方便检查数据质量。目前已有203人学习，适合需要高质量医学超声分割数据或希望快速上手语义分割实践的读者。
1. 超声背景下的神经图像语义分割：难点到底卡在数据集还是模型
超声图像里的神经，往往只是低回声的束状结构，周边裹着脂肪、筋膜和血管，灰度对比差、边界模糊，还叠加了一层散斑噪声。这种超声背景天然是医学图像语义分割的高危场景——通用分割框架照着 CT 或 MRI 的流程搬过来，模型多半能跑通，但验证集 Dice 卡在某个值上就不动了，换一组患者甚至直接崩掉。这篇笔记想把“超声背景下的神经图像医学图像语义分割”从数据集评估、预处理、模型选型到训练落地、踩坑排查完整讲一遍，适合手里已经有一批超声影像数据、但缺成型流程的工程师和研究者，也适合想转入医学图像方向的深度学习同学理解数据集与模型的真实边界。核心结论我先放在前面：这类项目能不能成，数据集的质量和划分方式往往比模型结构更决定上限。
2. 数据集选型与预处理：判断超声神经影像能否直接喂给模型
2.1 先确认三件事：影像模态、标注协议与负样本
拿到一批超声神经图像数据，第一步不是开 notebook 写网络，而是把数据集的来源摸清楚。我一般会先查三件事。
第一，模态是否统一。超声神经图像通常来自 B 模式灰度图，但不同机型甚至不同探头的增益曲线、动态范围和空间分辨率差异很大。低频率探头看深部神经，高频率探头看浅表神经，画面上神经束的粗细和回声纹理完全是两回事。如果数据集里混入了不同机型、不同压缩曲线甚至已经做过后处理的截图，模型第一个学到的不会是解剖结构，而是某种机型的亮度风格。这种风格一旦过拟合，换设备就失效，且极难通过数据增强修正。
第二，标注协议要问清楚。超声神经图像的标注往往是“临床有效区域”而不是“解剖学精确边界”——医生会画出穿刺时值得避开的神经区域，外膜边缘差出几毫米都不影响临床，但对逐像素的语义分割训练影响很大。我见过不少项目把标注边界当成金标准去死扣，结果训练 loss 怎么都降不下去，其实问题出在 mask 本身就不齐。这个问题只能靠人工抽检标注、统计标注一致性来解决，别指望损失函数自动消化。
第三，有没有难例负样本。神经的低回声特征和血管、淋巴结、肌腱非常接近，如果数据集中只有“神经很清楚”的明星片，没有那些低回声暗区里混着血管和筋膜的视频帧，模型没机会学会拒绝，推理时就会把正常组织也画进神经。常见的做法是从原始视频里抽出大量没有明确神经、或者神经被遮挡的时间帧，单独做成负样本集。这里的判断标准是：神经网络不仅要学会“神经长什么样”，还要学会“哪些东西看起来像神经但不是”。
2.2 预处理三步走：去黑边、截断式归一化、保持原始空间分辨率
超声图像的预处理不该照搬自然图像那套。超声帧四周通常有黑边、探头盲区和厂商刻度信息，直接缩放会把这些 UI 元素也喂进网络，白白占模型容量。第一步是自动裁剪包围盒外的黑边。这里给一个能直接落地的函数：
import cv2 import numpy as np def crop_black_border(img, threshold=8, margin=10): """去掉超声图像四周的黑边和厂商信息区域。 threshold: 小于该灰度视为背景，具体值要看图像位深， 8bit 图用 8 比较稳，16bit 图要先转 8bit。 margin: 裁剪时保留的边距，防止把紧贴边缘的浅表神经切掉。 """ gray = img if len(img.shape) == 2 else cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) mask = gray > threshold ys, xs = np.where(mask) if ys.size == 0: return img y0, y1 = max(ys.min() - margin, 0), min(ys.max() + margin + 1, gray.shape[0]) x0, x1 = max(xs.min() - margin, 0), min(xs.max() + margin + 1, gray.shape[1]) return img[y0:y1, x0:x1]这里 threshold 的取值是关键。超声图像的背景不是纯黑，探头盲区会有一些低灰度噪点，threshold 取 8 是我试下来比较稳的起点；如果图像本身偏亮，可以提高到 15 或 20，但超过 30 有风险把浅表组织的低回声区域当成背景裁掉。裁剪之后需要对灰度做归一化，而不是简单用 min-max。超声图像的灰度分布不是线性铺开的，大多数组织集中在偏暗区间，全局 min-max 会把中心噪声拉到很亮。我用的是基于百分位数的截断式归一化：
def normalize_ultrasound(img, clip_range=(5, 95)): """按百分位数截断并归一化到 0~255，避免散斑噪声占据灰度区间。""" low, high = np.percentile(img, clip_range) if high - low < 1e-6: return img.astype(np.uint8) img = np.clip((img.astype(np.float32) - low) / (high - low + 1e-6), 0.0, 1.0) return (img * 255).astype(np.uint8)clip_range 的取值对结果影响很明显。超声图像如果散布着高回声的筋膜，95 这个百分位会被筋膜占掉，神经区域的对比度反而被压缩；遇到这种情况，可以把高侧降到 90，给神经区域多留一点灰度空间。这里一定要做的是把归一化参数固定下来，存成配置文件的一部分，训练集和推理阶段用同一套参数，否则上线后图像亮度一变，模型表现就会跳水。
2.3 patch 化：神经区域太小，整图缩放只会让模型学个寂寞
超声神经图像的原始尺寸通常很大，而神经区域往往只占图像很小一块。如果整图缩放到 256×256，神经束可能只剩下十几个像素，语义分割模型很难从这里学会边界纹理。常见做法是滑窗切 patch，让网络每次看到的都是“足够局部却又能覆盖神经解剖上下文”的窗口。patch 尺寸我会优先取 256 或 320，stride 取 patch 的一半或者接近一半，这样相邻窗口有重叠，后面做推理融合时接缝不会太硬。
def extract_patches(img, mask, patch_size=256, stride=192): """切出重叠 patch，保证 mask 与 img 对齐。 stride 小于 patch_size 是有意为之：重叠区域在推理时能 加权平均掉边缘响应，避免神经束横跨两个 patch 被切开。 """ h, w = img.shape[:2] if h < patch_size or w < patch_size: img = cv2.resize(img, (max(w, patch_size), max(h, patch_size))) mask = cv2.resize(mask, (max(w, patch_size), max(h, patch_size))) h, w = img.shape[:2] patches_img, patches_mask = [], [] for y in range(0, h - patch_size + 1, stride): for x in range(0, w - patch_size + 1, stride): patches_img.append(img[y:y + patch_size, x:x + patch_size]) patches_mask.append(mask[y:y + patch_size, x:x + patch_size]) # 补上右边和下边可能遗漏的边条 if (h - patch_size) % stride != 0: y = h - patch_size for x in range(0, w - patch_size + 1, stride): patches_img.append(img[y:y + patch_size, x:x + patch_size]) patches_mask.append(mask[y:y + patch_size, x:x + patch_size]) if (w - patch_size) % stride != 0: x = w - patch_size for y in range(0, h - patch_size + 1, stride): patches_img.append(img[y:y + patch_size, x:x + patch_size]) patches_mask.append(mask[y:y + patch_size, x:x + patch_size]) return np.stack(patches_img), np.stack(patches_mask)patch 化之后的数据增强也要跟着改。超声图像不适合做强几何形变，弹性形变幅度过大会破坏神经束的线性结构；我常用的组合是水平翻转、灰度对比度扰动和少量旋转（±15 度以内）。如果要保证同一视频流里神经连续，不建议在时序维度上乱剪切，否则模型会丢掉帧间一致性先验。
注意：超声神经图像经常出现各向异性伪影——探头角度稍微偏一点，原先低回声的神经束可能变成高回声条带。patch 化会让这种伪影在窗口边界表现得尤其明显，抽检数据时多点开几个 patch 看一眼。
3. 语义分割模型怎么选：先定主干再定分割头，基线为什么还是 U 型网络
3.1 U-Net 仍是超声神经分割最稳的基线，但解码器深度不是越深越好
超声神经分割的本质是逐像素二分类，目标结构小而局部上下文重要。U-Net 这种编码器-解码器带跳跃连接的结构，天然适合拿浅层特征修复神经边缘、拿深层特征做语义判断。我做过对比，直接上轻量级实时分割模型，比如 BiSeNet 或 DDRNet，对超声神经这类低对比度目标，边缘质量普遍不如带跳跃连接的 U 型结构。
解码器深度方面，我的经验是 3 到 4 层比较合适。神经目标不像肝肿瘤那么大，不需要 5 层解码器带来的超强感受野；解码器太深，反而把神经细节在逐级池化中抹平了。一个可复现的判断方法：先拿一个 3 层解码器的 U-Net 跑基线，再看模型输出在神经边缘上的响应宽度。如果边缘响应很宽、像糊了一层光晕，说明解码器偏深或上采样方式过平滑，这时候优先换轻量的上采样方案，比如用转置卷积改成双线性上采样加卷积。
3.2 数据量不够时，预训练编码器比从零训练稳得多
超声图像虽然是单通道灰度图，但网络低层学到的边缘、纹理、局部形状特征和自然图像是通用的。小数据集下我从不建议从头训练 U-Net，常见的做法是把 ImageNet 预训练的编码器搬过来做主干。比如用 MobileNetV3-Large 或者 ResNet-18，把第一层卷积从 3 通道压成单通道，权重取原权重的均值。这个做法不算精确，但实际效果比随机初始化好很多，尤其是图像数量只有几百张的项目里，收敛速度和最终 Dice 都有明显差距。
import torch.nn as nn from torchvision import models def build_encoder(backbone="mobilenet_v3_large"): """取 ImageNet 预训练主干的前几层作为编码器，输入改成单通道灰度。""" if backbone == "mobilenet_v3_large": model = models.mobilenet_v3_large(weights=models.MobileNet_V3_Large_Weights.IMAGENET1K_V1) features = model.features first_conv = features[0][0] # 原权重是 3 通道卷积核，取均值压成 1 通道，保留原有边缘特征 with torch.no_grad(): first_conv.weight.copy_(first_conv.weight.mean(dim=1, keepdim=True)) elif backbone == "resnet18": model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) features = nn.Sequential( nn.Conv2d(1, 64, 7, 2, 3, bias=False), model.bn1, model.relu, model.maxpool, model.layer1, model.layer2, model.layer3, model.layer4, ) else: raise ValueError(f"Unknown backbone: {backbone}") return features这里有个细节需要提醒：超声神经图像的分辨率和组织纹理尺度与自然图像不同，预训练编码器高层的语义不一定匹配，但低层和中层特征足够用。所以我的习惯是冻结前两个 stage，后面的 stage 放开训练，这样既避免小样本过拟合，又能让高层特征适应超声的噪声分布。
3.3 主干与分割头的匹配：输出步长、输入分辨率和单通道输入
主干的选择要和 patch 尺寸一起定。如果用 MobileNetV3 这类输出步长 16 的主干，配合 256 的 patch，最后一层特征图是 16×16，上采样到原尺寸时细节全靠分割头补。这时候有两个选择：第一，减少下采样次数，让主干输出步长变成 8，代价是显存上升；第二，保持步长 16，但把分割头做厚一些，用两到三层转置卷积逐级恢复分辨率。我的实测更倾向于第二种，原因是主干部分预训练权重更完备，而分割头是从零训练，厚一点能让它学到的超声噪声模式更多。
也可以把输入从单通道扩展到多通道，比如把 CLAHE 增强图、原始灰度图、局部对比度图叠成三通道。这是我踩过坑之后才养成的习惯。超声图像神经区域的灰度范围和背景重叠严重，单通道输入丢失了太多纹理信息；用 CLAHE 在局部对比度上做一次增强，再把增强图和原图叠在一起，模型更容易把“蜂窝状的低回声束”从均匀低回声肌肉里区分出来。
4. 最小可复现训练管线：数据划分、组合损失与收敛判断
4.1 按受试者划分数据集，别按单帧划分
超声神经图像数据集看似是独立的图片，实际上同一受试者的连续帧高度相似——探头位置轻微移动，神经形态几乎不变。如果按单帧随机划分，训练集里某受试者的第 100 帧和验证集里同受试者的第 102 帧几乎一模一样，验证集 Dice 会被这种同源泄漏虚高好几个点。正确的划分维度是受试者级别：一个受试者的所有帧只能全部进训练集或全部进验证集。
import random def split_by_subject(records, seed=42, val_ratio=0.15, test_ratio=0.15): """records 的每个元素形如 {'subject': 'p001', 'img_path': '...', 'mask_path': '...'}""" subjects = sorted({r['subject'] for r in records}) rng = random.Random(seed) rng.shuffle(subjects) n_val = int(len(subjects) * val_ratio) n_test = int(len(subjects) * test_ratio) val_sub = set(subjects[:n_val]) test_sub = set(subjects[n_val:n_val + n_test]) train, val, test = [], [], [] for r in records: if r['subject'] in test_sub: test.append(r) elif r['subject'] in val_sub: val.append(r) else: train.append(r) return train, val, test用受试者 ID 划分之后，验证集才真正反映“换一拨人效果如何”。这也是我现在每个项目必做的第一步，否则后面所有调参都是在跟一个虚高的指标较劲。
4.2 Dice + BCE 组合损失：一个能直接抄的实现
超声神经分割里正负像素比例严重失衡，神经区域往往只占整张图的百分之几。单独用 BCE 会偏向背景，单独用 Dice loss 在极端情况下梯度不稳定。常见做法是两者相加，Dice 负责对抗类别不平衡，BCE 负责给逐像素决策提供稳定梯度。
import torch import torch.nn as nn import torch.nn.functional as F class DiceBCE(nn.Module): def __init__(self, smooth=1.0): super().__init__() self.smooth = smooth def forward(self, logits, masks): preds = torch.sigmoid(logits).view(logits.size(0), -1) masks = masks.view(masks.size(0), -1).float() inter = (preds * masks).sum(dim=1) union = preds.sum(dim=1) + masks.sum(dim=1) dice_loss = 1.0 - (2.0 * inter + self.smooth) / (union + self.smooth) bce = F.binary_cross_entropy_with_logits( logits.view(logits.size(0), -1), masks, reduction="none" ).mean(dim=1) return (dice_loss + bce).mean()smooth 参数别设太大，我一般取 1.0 到 10.0。太小的 smooth 在神经区域完全缺失的帧上会导致分母接近零，出现训练 loss 突然飙升的毛刺；太大的 smooth 会让 Dice 灵敏度下降，模型倾向于输出保守的圆形斑块而不是精细的束状边界。
4.3 训练脚本、优化器参数与收敛判断
训练主循环不复杂，但优化器和调度策略要提前定好，别拿默认参数糊弄。我常用的配置是 AdamW，学习率 1e-4，weight_decay 1e-4，配合余弦退火。batch size 受显存约束，6GB 显存下 256×256 patch 单卡最多跑到 8 到 12 个，再多就只能减小 patch 尺寸。
# 训练主循环，省略数据加载细节 for epoch in range(epochs): model.train() total_loss = 0.0 for images, masks in train_loader: images, masks = images.to(device), masks.to(device) logits = model(images) loss = criterion(logits, masks) optimizer.zero_grad() loss.backward() optimizer.step() scheduler.step() total_loss += loss.item() if epoch % 5 == 0 and epoch > 0: val_dice = evaluate(model, val_loader, device) print(f"epoch {epoch} loss {total_loss / len(train_loader):.4f} val_dice {val_dice:.4f}") if val_dice > best_dice: best_dice = val_dice torch.save(model.state_dict(), "best_nerve_seg.pth")训练时有一个判断经验：超声神经分割的 loss 曲线比自然图像分割更早进入平台期，如果 30 轮内 val Dice 没有持续上升趋势，继续加 epoch 效果有限，应优先回去检查数据划分或负样本比例。此外，梯度裁剪建议加上，clip_grad_norm_ 设 5 左右，超声图像里偶发的高回声刺点会产生较大梯度，不裁剪会整批震荡。
5. 超声神经分割的避坑记录：五个高频现场和解决手段
5.1 血管被分割成神经：低回声管状结构太像神经
现象：模型输出图里，与神经伴行的动脉、静脉被大面积标成阳性区域，验证集精确率偏低。
原因：超声 B 模式下血管和神经都是低回声。神经是束状结构，血管是管状结构，单帧静态图像上二者灰度分布几乎无法区分，模型很容易把管壁之间的暗腔当成神经束。
解决：给训练集补充彩色血流成像或 Doppler 帧作为辅助输入。我一般会在数据预处理阶段把 B 模式灰度图和对应的血流叠加图对齐，模型输入由 1 通道扩到 2 到 3 通道，让网络学到“这块低回声区域里有血流信号，所以不是神经”的否定信息。如果拿不到多模态数据，另一种做法是后处理阶段用血管的搏动特征——同一位置连续帧灰度方差大、帧间位移明显——用时序过滤把血管区域剔除。
5.2 神经区域中间断开，输出像碎面条
现象：单张测试图的神经连续区域被预测成几段不连通的碎片，中间隔着小块零置信度区域，导致下游测量神经直径时数值忽大忽小。
原因：典型的 patch 边界效应。神经束横跨 patch 边界时，两边的模型在不同上下文下对同一组织的响应不一致，拼回去之后出现断层。另一种原因是模型对深部低回声区域细节不敏感，神经内部被误判为背景。
解决：推理时滑窗重叠率提高到 75% 以上，把同一位置多个 patch 的概率值做平均而不是取最大值。另外，在训练增强里加入小幅度的随机裁剪偏移，强迫模型在多样本上下文里看到同一组织，能明显改善 patch 间一致性。
5.3 验证集 Dice 虚高，换一拨受试者就掉点
现象：随机划分时验证集 Dice 能到 0.87，改用受试者级划分后只剩 0.71，差距接近 15 个点。
原因：这就是我在 4.1 里说的同源泄漏，超声连续帧的重合度过高。随机划分后验证集里混了训练集同一受试者的相邻帧，等于开卷考试。
解决：回到按受试者划分，并且划分完要做一次相似度抽检——随机抽几十对训练集和验证集帧，计算结构相似度，如果相似度均值过高，说明划分代码有 bug 或者受试者 ID 本身不干净，需要换划分维度。
5.4 换一台超声机器，Dice 直接掉到 0.6 以下
现象：训练机型的验证集 Dice 0.85，拿到另一台机器采集的图像测试，分割结果明显变差，神经边界模糊成一片。
原因：超声设备的增益、动态范围、组织增强处理差异导致图像风格漂移。这个现象在超声领域比在自然图像领域严重得多，同一个人的同一根神经，两台机器画面灰度分布完全不同。
解决：数据集阶段就做风格混合——如果条件允许，收集两个及以上机型的数据，在训练时混合并额外加入随机亮度和对比度扰动。更稳妥的做法是上线前做一次“空针超声图像校准”，用同一套增益参数采集少量目标机器图像做微调，微调数据不用多，几十张带标注的帧就够把分布拉回来。
5.5 显存不足或训练不稳定
现象：6GB 显存的卡跑 320×320 patch，batch size 设为 4，训练到一半直接 OOM；把 batch 调到 2 之后 loss 曲线大幅震荡，验证集指标忽高忽低。
原因：patch 尺寸太大加上 batch 太小，BatchNorm 统计量不稳定，每个批次估计的均值和方差漂移过大。
解决：优先把 patch 降到 256，batch size 至少保到 8。如果 patch 尺寸必须大，就把 BatchNorm 换成组归一化，或者开启混合精度训练。混合精度下 Dice loss 的数值精度可能受影响，稳妥做法是让损失函数保持 FP32 计算，只把卷积部分切到半精度。
提示：混合精度训练遇到 loss 跳成 NaN 时，先关掉 GradScaler，再检查输入图像里有没有除零产生的 Inf。超声原始图像偶尔会出现全黑帧或全白帧，这类帧在归一化时会产生异常值，应该在数据加载时直接过滤。
6. 验证与落地技巧：TTA 融合、边界细化和固定习惯
6.1 推理阶段的多尺度与翻转融合
离线验证时，我习惯给模型套一个测试时增强，把水平翻转、垂直翻转多组合并的计算结果平均。超声图像方向翻转不会改变神经的解剖语义，所以这个操作是安全的。多尺度稍微复杂一些，我通常用 [0.9, 1.0, 1.1] 三档缩放，再把结果重采样回原尺寸做平均。这样做一般能带来 1 到 3 个点的 Dice 提升。
def inference_tta(model, image, scales=(0.9, 1.0, 1.1)): """推理时对图像做多尺度缩放与翻转，逐像素取平均概率。""" model.eval() base_size = image.shape[-2:] prob_sum = torch.zeros(1, 1, *base_size, dtype=torch.float32) count = 0 with torch.no_grad(): for scale in scales: img = F.interpolate(image, scale_factor=scale, mode="bilinear", align_corners=False) for flip_dim in [None, 2, 3, (2, 3)]: tmp = img if flip_dim is not None: tmp = torch.flip(tmp, dims=flip_dim) prob = torch.sigmoid(model(tmp)) if flip_dim is not None: prob = torch.flip(prob, dims=flip_dim) prob = F.interpolate(prob, size=base_size, mode="bilinear", align_corners=False) prob_sum += prob count += 1 return prob_sum / countTTA 的代价是推理时间成倍增加，如果目标是实时辅助定位，我一般会砍掉多尺度，只保留翻转融合；如果是离线离线阅片或数据重标注，TTA 全开也无妨。
6.2 边界细化：形态学操作用在概率图上比用在二值图上稳
训练完成后可以加一个轻量后处理：先对概率图做轻微的高斯模糊，再取 0.5 阈值，然后用一个小的椭圆核做闭运算。神经束是连续纤维群簇，闭运算能把内部细小断裂连接起来，同时不至于把相邻的独立神经束粘连到一起。注意别在二值图上直接做形态学，二值化已经丢了置信度信息，闭运算容易把两个低置信度的碎块焊在一起。要把形态学操作作用在概率图上，处理后落一个“碎片置信度过滤”——面积小于阈值的连通域直接置零。
6.3 一套固定的验证习惯比多调一个点的指标更有价值
我现在的固定流程是：受试者级划分留存一个固定测试集，任何网络改动都只在这套测试集上复测；离线评估对比 Dice 的同时，也看 95% 霍斯多夫距离，因为超声神经的目标很小，一个离散的假阳性点就能毁掉临床测距结果；每次实验前抽几张训练图做 GAN 式的诊断可视化。超声神经分割这类任务里，指标虚高是非常常见的，肉眼确认几百张输出图之后才能真正判断模型能用不能用。这个习惯帮我少踩了很多“验证集优秀、实际场景翻车”的坑，也把每一次模型迭代变成了可追溯的工程决策。希望这些记录能让你在超声神经分割项目里少绕一圈，做的每一步都有回放价值。
本文还有配套的精品资源，点击获取
