医学图像分割这个方向，过去五六年里发生的变化比之前二十年加起来都多。2018 年前后，如果你在做一个肝脏或者视网膜血管的分割任务，基本就是 U-Net 打天下，编码器用几层卷积堆下去，解码器对称着上采样回来，加几个 skip connection，Dice 能到 0.85 就算交差。但从 2021 年 Vision Transformer 在分类任务上跑通之后，整个分割领域的骨干网络选型逻辑被彻底重写了一遍。现在你去看 MICCAI 和 ISBI 的论文，纯 CNN 架构已经很难单独作为卖点出现了，Transformer 或者 CNN-Transformer 混合结构才是主流叙事。
但这里有个很实际的问题：很多做医学影像的同行是从临床或者生物医学工程转过来的，对 CNN 的归纳偏置（inductive bias）理解得比较直觉——局部感受野、权重共享、平移等变性，这些概念和卷积核滑动窗口的物理图像是对得上的。一旦切到 Transformer，self-attention 的全局建模、位置编码、多头机制，理解门槛陡然上升。更麻烦的是，医学图像本身有一些和自然图像完全不同的特性：数据量小、标注成本极高、目标边界模糊、类别极度不平衡。直接把自然图像那套 ViT 或者 Swin Transformer 搬过来，十有八九效果还不如精心调过的 U-Net。
这篇内容就是想把这条演进路线讲清楚：CNN 在医学图像分割里到底做对了什么、它的瓶颈在哪里、Transformer 为什么能补上这些短板、以及在实际项目中从 CNN 迁移到 Transformer 时，哪些坑是必须提前知道的。不管你是刚入门医学图像分割的学生，还是正在考虑要不要把现有 pipeline 换成 Transformer 的工程师，下面这些内容应该都能帮你少走一些弯路。
1. 卷积网络在医学分割任务中的真实能力边界
1.1 U-Net 范式为什么能统治这么多年
U-Net 在 2015 年被提出来的时候，本身就是为了解决医学图像标注数据少的问题。它的核心设计其实就两件事：编码器-解码器对称结构，以及 skip connection。编码器通过不断卷积和下采样，把输入图像的空间分辨率降下来、通道数升上去，本质上是在做特征抽象；解码器反过来，通过上采样和卷积把特征图恢复到原图尺寸，输出每个像素的类别概率。
skip connection 的作用经常被简单说成"保留细节"，但更准确的理解是：它让解码器在恢复空间分辨率的时候，能直接拿到编码器对应层的高分辨率特征。这些特征里包含了丰富的边界、纹理信息，而经过多次下采样的深层特征虽然语义强，但空间细节已经丢得差不多了。两者拼接或者相加，等于同时利用了浅层的"在哪里"和深层的"是什么"。
这个结构之所以在医学图像上特别管用，是因为医学图像的目标往往边界模糊、对比度低。比如 CT 里的肝脏肿瘤，和周围正常肝组织的 HU 值差异可能只有十几，边界区域还有部分容积效应。这种情况下，纯靠深层语义特征去恢复边界几乎不可能，skip connection 提供的浅层细节就成了救命稻草。
1.2 卷积的归纳偏置：优势也是枷锁
卷积操作有两个非常强的先验假设：局部性和平移等变性。局部性意味着每个卷积核只关注输入的一个小邻域，平移等变性意味着目标在图像里移动位置，卷积响应也跟着移动。这两个假设在自然图像上非常合理，因为自然图像的统计特性确实是局部平稳的。
在医学图像里，这两个假设大部分时候也成立，但有几个关键例外。第一，某些解剖结构的语义依赖长距离关系。比如心脏分割中，左心室的形状和位置与右心室、左心房有强相关性，如果感受野只覆盖局部区域，模型很难学到这种全局解剖约束。第二，病灶的良恶性判断有时依赖于它和远处器官或组织的相对关系，比如肺结节的位置相对于胸膜的距离，这种关系跨越了很长的空间范围。
CNN 通过堆叠多层来扩大感受野，理论上足够深的网络感受野可以覆盖整张图。但实际感受野远小于理论感受野，而且随着深度增加，浅层的高频信息在多次下采样中已经丢失了。这就是为什么很多 CNN 分割模型在边界区域的表现始终差一口气——不是语义没学到，而是空间精度在深层特征里已经不可逆地损失了。
1.3 医学图像的特殊性对 CNN 提出的额外挑战
医学图像和自然图像有几个本质区别，这些区别直接决定了不能简单套用自然图像的模型设计思路。
数据量小是最核心的矛盾。ImageNet 有 1400 万张图，医学图像分割数据集通常只有几百到几千例。在这么小的数据上训练一个参数量动辄几千万的模型，过拟合几乎是必然的。CNN 的权重共享和局部连接本身是一种强正则化，这也是它在小数据上比全连接网络表现好的原因之一。
标注成本极高。像素级标注需要专业医生逐层勾画，一个 3D CT 序列的标注可能需要几个小时。这意味着你很难通过增加标注数据来提升模型性能，必须把注意力放在如何更高效地利用有限标注上。
类别极度不平衡。在脑肿瘤分割中，肿瘤区域可能只占整张图像的 1% 到 5%，背景占绝大多数。如果 loss function 不做特殊处理，模型会倾向于把所有像素预测为背景，准确率看起来很高但 Dice 接近零。
边界模糊且对比度低。很多医学图像的边界不是一条清晰的线，而是一个渐变区域。比如 MRI 中的水肿区域和正常脑组织的过渡带，信号强度是逐渐变化的。这对模型的空间分辨能力提出了很高要求。
2. Transformer 进入医学分割领域的逻辑与代价
2.1 Self-Attention 到底解决了什么问题
Transformer 的核心是 self-attention 机制。简单说，对于输入序列中的每个位置，self-attention 会计算它和其他所有位置的相关性权重，然后根据这些权重加权聚合全局信息。这个过程没有局部性的限制，每个位置都可以直接"看到"序列中任意远的位置。
放到图像分割的语境里，这意味着模型可以在第一层就建立任意两个像素之间的依赖关系。对于前面提到的"左心室形状依赖右心室位置"这类长距离解剖约束，self-attention 天然适合建模。它不需要像 CNN 那样通过堆叠很多层来间接扩大感受野，而是直接计算全局注意力。
另一个关键优势是动态权重。卷积核的权重在整张图上共享，是静态的；self-attention 的权重是根据输入内容动态计算的。对于医学图像中形态变异很大的目标（比如不同患者的肿瘤形状差异巨大），动态权重显然更灵活。
2.2 ViT 和 Swin 在分割任务上的适配改造
原始 ViT 是为分类设计的，它把图像切成固定大小的 patch，展平后加位置编码，送进标准 Transformer 编码器，最后取 class token 做分类。这个结构直接拿来做分割有两个问题：一是输出是单一向量，没有空间维度；二是计算复杂度是 patch 数量的平方，高分辨率图像上不可接受。
SETR 是最早把 ViT 迁移到分割的工作之一，它的做法是把 ViT 当作编码器，后面接一个 CNN 解码器做上采样。这个思路验证了 Transformer 编码器可以学到比 CNN 更强的语义特征，但计算量问题没有解决。
Swin Transformer 的关键创新是窗口注意力和移位窗口机制。它把图像划分成不重叠的窗口，只在窗口内做 self-attention，这样计算复杂度从平方降到线性。同时通过移位窗口让相邻窗口之间有信息交换，保证了跨窗口的建模能力。Swin 的层次化结构也和 CNN 类似，可以输出多尺度特征图，方便接各种分割解码器。
在医学图像上，Swin-UNet 是一个比较有代表性的工作。它用 Swin Transformer 块替换了 U-Net 的卷积块，保留了 U 型结构。实测下来，在 Synapse 多器官分割数据集上，Swin-UNet 的 Dice 比经典 U-Net 高了 2 到 3 个百分点，尤其在边界区域提升明显。
2.3 计算复杂度和数据需求的现实约束
Transformer 在医学图像分割上不是没有代价的。最大的两个问题是计算复杂度和数据需求。
计算复杂度方面，标准 self-attention 对 n 个 token 的计算量是 O(n²)。一张 512×512 的医学图像，如果 patch size 是 16×16，token 数量是 1024，attention map 就是 1024×1024，还可以接受。但如果做 3D 分割，比如 128×128×128 的 CT 体积，patch size 4×4×4，token 数量是 32768，attention map 就是 32768×32768，显存直接爆炸。这就是为什么 3D 医学图像分割里，纯 Transformer 架构很少见，大多是 CNN-Transformer 混合或者用窗口注意力来降低复杂度。
数据需求方面，ViT 原论文明确指出，在 ImageNet 上预训练之前，ViT 在中小规模数据集上表现不如 ResNet。医学图像数据集比 ImageNet 小两三个数量级，从头训练 Transformer 几乎不可能。实际做法通常是在大规模自然图像上预训练，然后迁移到医学图像上微调。但这里有个 domain gap 问题：自然图像的纹理统计和医学图像差异很大，预训练权重能迁移多少需要实验验证。
3. 从 CNN 迁移到 Transformer 的实操路线
3.1 先跑通 CNN baseline 再考虑换骨干
我见过太多人一上来就想用 Transformer，结果调了两周发现还不如原来的 U-Net。正确的做法是先把 CNN baseline 做扎实。具体来说，你需要有一个稳定的 U-Net 或者 nnU-Net 作为参照。nnU-Net 特别值得推荐，它会根据你的数据集自动配置预处理、网络结构、训练策略，在绝大多数医学分割任务上都能给出一个很强的 baseline。有了这个 baseline，你后面换任何新架构，都能清楚地知道提升是来自架构本身还是其他因素。
baseline 的评估要细致。不要只看整体 Dice，要分区域看：大器官的 Dice、小器官的 Dice、边界区域的 Hausdorff 距离、不同病例之间的方差。这些细粒度指标能帮你判断 Transformer 到底在哪个方面带来了提升。
3.2 混合架构：CNN 做浅层，Transformer 做深层
纯 Transformer 在医学图像上从头训练效果通常不好，一个更务实的方案是混合架构。浅层用卷积，深层用 Transformer。这么设计的理由很直接：浅层特征主要是边缘、纹理等低级信息，卷积的局部性和平移等变性非常适合提取这类特征，而且计算效率高；深层特征需要全局语义理解，Transformer 的 self-attention 在这里发挥优势。
TransUNet 是这个思路的代表作。它用 CNN 做编码器的前几层，然后把特征图展平送进 Transformer 编码器，最后用 CNN 解码器恢复分辨率。在 Synapse 和 ACDC 数据集上，TransUNet 都取得了比纯 CNN 和纯 Transformer 更好的结果。这个结论在后续很多工作中被反复验证。
实现混合架构时，一个关键决策是切分点选在哪里。切得太浅，Transformer 要处理的 token 太多，计算量下不来；切得太深，卷积提取的浅层细节不够，skip connection 能提供的边界信息有限。经验上，在 U-Net 的第三或第四个下采样阶段之后接入 Transformer 比较合适，此时特征图分辨率已经降到原图的 1/8 或 1/16，token 数量可控，同时浅层卷积已经提取了足够的细节特征。
3.3 预训练权重的选择与微调策略
医学图像分割里用 Transformer，几乎不可能从头训练。预训练权重的来源主要有几个：ImageNet 上训练的 ViT 或 Swin，大规模医学图像上自监督预训练的模型，或者用其他医学分割任务做迁移。
ImageNet 预训练权重最容易获取，但 domain gap 最大。微调时建议用较小的学习率，比如 1e-5 到 5e-5，让预训练权重缓慢适应医学图像分布。如果直接上 1e-3 的学习率，预训练学到的通用特征会被迅速破坏，等于从头训练。
自监督预训练是近两年的热点。比如用 MAE 在大量无标注医学图像上做掩码重建，学到的编码器再迁移到分割任务上。这种方式的优势是 domain gap 小，但需要大量无标注数据，而且预训练本身的计算成本不低。
微调策略上，一个实用技巧是分层设置学习率。浅层卷积部分用较大的学习率（比如 1e-4），因为这部分需要适应医学图像的底层纹理；Transformer 部分用较小的学习率（比如 1e-5），保护预训练学到的全局建模能力。这种分层微调在多个任务上都被证明比统一学习率更有效。
4. 医学分割中 Transformer 调参的实战细节
4.1 Patch Size 和窗口大小的选择逻辑
Patch size 决定了 Transformer 的 token 数量，直接影响计算复杂度和建模粒度。在 2D 医学图像分割中，patch size 通常选 16×16 或 8×8。16×16 的 token 数量少，计算快，但空间分辨率低，对小目标不友好；8×8 的 token 数量是前者的四倍，计算量大幅增加，但能保留更多空间细节。
实际选择要看你的目标尺寸。如果是视网膜血管分割这种细粒度任务，patch size 建议 8×8 甚至 4×4；如果是器官级别分割，16×16 通常够用。一个折中方案是用层次化结构，浅层用大 patch，深层用小 patch，Swin 就是这么做的。
窗口大小方面，Swin 默认用 7×7 窗口。在医学图像上，这个值需要根据目标尺寸调整。如果目标普遍较小，比如肺结节，7×7 窗口可能覆盖了太多背景，注意力被稀释。可以尝试缩小到 5×5 或 4×4。反过来，如果是大器官分割，窗口可以适当放大到 8×8 或 12×12。
4.2 位置编码在医学图像上的特殊处理
位置编码是 Transformer 里容易被忽视但很关键的一环。标准 ViT 用可学习的一维位置编码，把 patch 按光栅扫描顺序排列后加位置向量。这个做法在自然图像上没问题，但在医学图像上有两个隐患。
第一，医学图像经常有旋转和翻转增强。如果位置编码是固定的一维序列，旋转后的图像 patch 顺序变了，位置编码就对不上了。解决方案是用二维位置编码，或者用相对位置编码，让模型关注 patch 之间的相对关系而不是绝对位置。
第二，3D 医学图像的位置编码需要同时编码三个维度的位置信息。简单做法是把三个维度的位置编码相加或拼接，但更合理的是用可分离的 3D 位置编码，分别编码每个维度的位置再组合。
在实际项目中，我通常先用二维可学习位置编码跑通，如果发现旋转增强导致性能下降明显，再换成相对位置编码。这个排查过程可以通过对比有无旋转增强时的验证集 Dice 来判断。
4.3 损失函数与训练策略的适配调整
Transformer 的训练动态和 CNN 有差异，损失函数和优化器设置需要相应调整。
损失函数方面，医学分割常用的 Dice loss 和交叉熵组合依然适用，但 Transformer 对损失函数的平滑性更敏感。Dice loss 在预测和标签完全重叠时梯度为零，这在训练后期可能导致 Transformer 的注意力权重震荡。一个实用做法是加一个小的平滑项，或者用 Tversky loss 替代 Dice loss，通过调整 alpha 和 beta 控制假阳性和假阴性的权重。
优化器方面，AdamW 是 Transformer 的标准选择，权重衰减通常设 0.01 到 0.05。学习率调度用 cosine annealing 或带 warmup 的线性衰减。Warmup 对 Transformer 特别重要，因为训练初期注意力权重是随机的，直接上大学习率会导致梯度爆炸。Warmup 步数一般设总步数的 5% 到 10%。
Batch size 方面，Transformer 比 CNN 更需要大 batch 来稳定训练。但医学图像分割受显存限制，batch size 往往只能设 2 到 8。这种情况下可以用梯度累积来模拟大 batch，比如累积 4 步再更新一次参数，等效 batch size 翻四倍。
5. 边界精度与长距离依赖的针对性优化
5.1 边界区域的注意力引导
医学分割最难的永远是边界。Transformer 虽然全局建模能力强，但在边界区域，如果注意力被大量背景 token 分散，边界像素的特征反而得不到足够关注。针对这个问题，有几类实用的优化思路。
一是边界感知的注意力掩码。在计算 attention 时，对靠近边界的 token 给予更高的注意力权重。具体实现可以先用一个轻量级的边缘检测算子（比如 Sobel）生成边界概率图，然后把这个概率图作为 attention 的偏置项加进去。这样模型在聚合全局信息时，会优先关注边界附近的区域。
二是多尺度边界 refinement。在 Transformer 编码器之后，接一个专门的边界 refinement 模块，用高分辨率特征图对边界区域做精细调整。这个模块可以是几个卷积层，也可以是一个小型的 Transformer，专门处理边界 patch。
三是边界加权的损失函数。在计算 loss 时，给边界像素更高的权重。权重的设置可以用距离变换，离边界越近权重越高。这个做法在 nnU-Net 里被证明有效，迁移到 Transformer 上同样适用。
5.2 多尺度特征融合中 Transformer 的接入位置
多尺度特征融合是分割模型的标准配置，Transformer 接入的位置直接影响融合效果。
一种做法是在每个尺度都接入 Transformer，形成层次化的 Transformer 编码器。Swin-UNet 就是这么做的，每个 stage 都是 Swin Transformer 块。这种结构建模能力强，但计算量大，而且浅层的 Transformer 可能学不到太多有用的全局信息，因为浅层特征图分辨率高，token 数量多，attention 容易分散。
另一种做法是只在最深层接入 Transformer，浅层保持卷积。这种结构计算效率高，浅层卷积提取细节，深层 Transformer 建模全局关系。TransUNet 属于这一类。实测下来，这种结构在中小规模医学数据集上性价比最高。
还有一种折中方案是在中间两个 stage 接入 Transformer，浅层和最深层保持卷积。这种结构适合目标尺度变化大的任务，比如同时分割大器官和小病灶。
选择哪种结构，建议先用小规模实验对比。固定其他条件，只改变 Transformer 接入位置，看验证集 Dice 和 Hausdorff 距离的变化。通常两到三组实验就能看出趋势。
5.3 小目标分割中 Transformer 的注意力稀释问题
小目标分割是 Transformer 在医学图像上的一个软肋。当目标只占图像很小一部分时，self-attention 计算出的注意力权重会被大量背景 token 稀释，目标 token 之间的注意力权重相对较低，导致特征聚合不充分。
解决这个问题有几个方向。一是用局部窗口注意力替代全局注意力，减少背景 token 的干扰。Swin 的窗口机制本身就有这个效果，窗口越小，背景稀释越少。二是用目标先验引导注意力，比如先用一个轻量级检测器定位目标区域，然后只在目标区域及其邻域内做 attention。三是用 class token 或者 register token 来聚合全局信息，让目标相关的信息集中到少数 token 上，减少背景 token 的影响。
在实际项目中，如果小目标分割效果不理想，我会先检查 attention map 的可视化结果。如果发现注意力确实被背景分散了，再针对性调整窗口大小或者加目标先验。这个排查过程比盲目调参高效得多。
6. 3D 医学分割中 Transformer 的落地难点
6.1 3D 数据的 token 爆炸问题
3D 医学图像分割是 Transformer 落地最困难的场景。一个 128×128×128 的 CT 体积，如果 patch size 是 8×8×8，token 数量是 4096；如果 patch size 降到 4×4×4，token 数量是 32768。标准 self-attention 的复杂度是 token 数量的平方，32768 的平方是十亿级别，显存根本放不下。
实际可行的方案有几种。一是用窗口注意力，把 3D 体积划分成不重叠的窗口，只在窗口内做 attention。Swin 的 3D 版本就是这么做的，窗口大小通常设 4×4×4 或 7×7×7。二是用轴向注意力，分别沿三个轴做 1D attention，复杂度从 O(n²) 降到 O(n√n)。三是用稀疏注意力，只计算局部邻域和少数全局 token 的注意力。
这些方案各有取舍。窗口注意力实现简单，但窗口之间的信息交换需要靠移位机制，实现起来有额外开销。轴向注意力计算效率高，但对角线方向的长距离依赖建模不足。稀疏注意力灵活，但稀疏模式的设计需要针对具体任务调优。
6.2 2D 预训练权重迁移到 3D 的参数膨胀策略
3D 医学图像数据量通常比 2D 更少，从头训练 3D Transformer 几乎不可行。一个常用策略是把 2D 预训练权重迁移到 3D。具体做法有几种：一是把 2D 卷积核在第三个维度上复制，比如 3×3 的 2D 卷积核变成 3×3×1，然后通过插值或学习扩展到 3×3×3。二是把 3D 体积切成多个 2D 切片，分别用 2D 模型处理，再融合结果。三是用 I3D 的思路，把 2D 卷积核在时间维度上膨胀。
对于 Transformer，迁移更复杂，因为 self-attention 的权重和 token 数量相关。一个可行做法是把 3D 体积沿某个轴切成 2D 切片序列，用 2D Transformer 处理每个切片，然后用一个轻量级的时序模块融合切片间信息。这种方式在视频理解里很常见，迁移到 3D 医学图像上逻辑是通的。
6.3 各向异性分辨率下的位置编码设计
3D 医学图像经常是各向异性的，比如 CT 的层厚可能是 1mm，但层内像素间距是 0.5mm。这意味着体素在三个维度上的物理尺寸不同。如果位置编码不考虑这个差异，模型会把物理上不等距的体素当成等距处理，导致空间关系建模偏差。
解决方案是用物理坐标而不是体素索引来计算位置编码。具体来说，每个体素的位置用其在物理空间中的毫米坐标表示，然后对这个连续坐标做位置编码。这样无论体素间距如何变化，位置编码都能正确反映物理空间中的相对关系。
实现上，可以用正弦位置编码的连续版本，把物理坐标映射到高维空间。或者用可学习的 MLP 把物理坐标映射成位置向量。后者更灵活，但需要更多数据来训练。
7. 评估、可解释性与临床落地的现实考量
7.1 分割指标之外：临床可接受度评估
Dice 和 Hausdorff 距离是分割任务的标准指标，但它们和临床可接受度之间还有距离。一个 Dice 0.90 的模型，在临床医生眼里可能仍然不可用，因为某些关键区域的错误会导致治疗计划偏差。
实际项目中，除了标准指标，还需要做临床相关的评估。比如对于放疗计划中的器官分割，要单独评估危及器官的边界精度，因为边界误差直接影响剂量分布。对于手术导航中的分割，要评估模型在不同扫描协议、不同设备上的泛化能力。
一个实用做法是让临床医生对分割结果做盲评，按 1 到 5 分打分，然后分析分数和自动指标的相关性。如果发现某些指标和临床评分相关性低，就需要调整评估体系。
7.2 注意力图可视化在医学场景中的解读
Transformer 的注意力图可视化是理解模型行为的重要工具，但在医学场景中解读需要谨慎。注意力权重高不一定意味着该区域对预测重要，因为 attention 是多头的，不同头关注不同模式，而且 attention 之后还有前馈网络和非线性变换。
实际解读时，建议看多个头的平均注意力，以及 attention rollout 的结果。attention rollout 考虑了多层注意力的累积效应，比单层注意力更能反映信息流动路径。如果发现模型关注了明显无关的区域，比如图像边缘的伪影，说明预处理或者数据增强可能有问题。
另外，注意力图可以和临床先验对比。比如在心脏分割中，如果模型在左心室区域的注意力权重很高，符合解剖学预期；如果注意力集中在背景或者无关器官上，就需要排查原因。
7.3 模型部署中的计算资源与推理速度平衡
医学图像分割模型最终要落到临床工作流里，推理速度是硬约束。Transformer 的推理速度通常比同参数量的 CNN 慢，因为 self-attention 的计算不是简单的卷积操作，对硬件不够友好。
优化推理速度有几个方向。一是用模型剪枝，去掉注意力头或者层。二是用量化，把 FP32 降到 FP16 或 INT8。三是用知识蒸馏，用大 Transformer 教小 CNN，推理时只用小 CNN。四是用 TensorRT 或者 ONNX Runtime 做推理优化，这些框架对 Transformer 的算子有专门优化。
实际部署时，建议先明确推理速度要求。如果是离线分析，几秒钟和几十秒钟差别不大；如果是实时手术导航，必须控制在几百毫秒以内。根据这个约束反推模型规模和优化策略，比先训一个大模型再想办法压缩要高效。
8. 我在 CNN 到 Transformer 迁移中踩过的坑
8.1 学习率没调对导致预训练权重被破坏
第一次用 Swin-UNet 做肝脏分割时，我直接用了之前 U-Net 的学习率 1e-3，结果训练 loss 震荡得厉害，验证集 Dice 比 U-Net 还低。排查后发现是学习率太大，预训练权重在最初几百步就被大幅修改了。后来把 Transformer 部分的学习率降到 1e-5，卷积部分保持 1e-4，训练立刻稳定下来，最终 Dice 比 U-Net 高了 2.1 个百分点。
这个坑的教训是：Transformer 的预训练权重比 CNN 更脆弱，因为 self-attention 的权重矩阵对输入分布很敏感。迁移到医学图像时，输入分布和自然图像差异大，如果学习率不降下来，预训练学到的通用模式会被迅速覆盖。
8.2 数据增强过强反而伤害 Transformer 训练
医学图像分割常用强数据增强，比如随机旋转、弹性形变、亮度对比度扰动。在 CNN 上这些增强通常有益，但在 Transformer 上，我遇到过增强过强导致训练不收敛的情况。
分析下来，原因是 Transformer 的位置编码对几何变换敏感。随机旋转和弹性形变会改变 patch 之间的空间关系，如果位置编码不能相应调整，模型学到的空间依赖就是错的。后来我把几何增强的强度降了一半，同时换用相对位置编码，训练才恢复正常。
这个经验说明，从 CNN 迁移到 Transformer 时，数据增强策略需要重新审视。不是所有对 CNN 有效的增强都适合 Transformer，特别是那些破坏空间结构的增强。
8.3 显存不够时梯度累积和混合精度的配合
3D 分割任务显存总是不够用。我试过梯度累积，但发现单独用梯度累积效果一般，因为 BatchNorm 在累积过程中统计量更新不及时。后来换成混合精度训练加梯度累积，显存占用降了约 40%，训练速度也快了。
混合精度训练要注意 loss scaling。Transformer 的梯度动态范围大，FP16 容易下溢。用动态 loss scaling 可以自动调整缩放因子，避免梯度下溢。PyTorch 的 AMP 模块已经内置了这个机制，直接开启就行。
还有一个细节是 LayerNorm 在混合精度下的数值稳定性。LayerNorm 的方差计算在 FP16 下可能溢出，建议把 LayerNorm 保持在 FP32。PyTorch 的 AMP 会自动处理这部分，但如果你自己实现 LayerNorm，需要手动指定精度。
8.4 验证集指标波动大时如何判断模型是否真的更好
Transformer 训练过程中验证集指标波动通常比 CNN 大，这给模型选择带来了困难。我遇到过验证集 Dice 在 0.85 到 0.89 之间来回跳的情况，不知道哪个 checkpoint 才是最好的。
后来我用了两个策略。一是用指数移动平均（EMA）的模型权重做验证，EMA 平滑了训练过程中的权重波动，验证指标稳定很多。二是看多个指标的联合表现，不只看 Dice，同时看 Hausdorff 距离和边界区域的 Dice。如果 Dice 高但 Hausdorff 也高，说明边界预测差，模型可能过拟合了某些区域。
还有一个经验是看验证指标的方差。如果方差很大，说明模型对数据分布敏感，泛化能力可能不足。这时候增加数据增强或者加正则化比继续调参更有效。
医学图像分割从 CNN 到 Transformer 的迁移，本质上是在局部细节和全局语义之间寻找更好的平衡。CNN 的归纳偏置在数据少、边界要求高的场景下依然是利器，Transformer 的全局建模能力在解剖结构复杂、长距离依赖强的任务上优势明显。实际项目中，混合架构往往是性价比最高的选择，而纯 Transformer 更适合数据量充足或者有强预训练支持的场景。不管选哪种架构，把 baseline 做扎实、把评估做细致、把临床需求放在第一位，这些原则不会因为架构变化而改变。
