医学图像分割标注成本高？DTC双任务一致性半监督方案实战解析

1. 医学图像分割的标注困局与半监督破局思路

搞医学图像分割的同行都清楚一个现实：像素级标注的成本高得离谱。一张CT切片，让有经验的放射科医生逐像素勾画肝脏边界，少说也要十几分钟，碰上边界模糊的病灶区域，半小时都打不住。一个像样的训练集动辄几百上千张切片，算下来就是几百个工时。更麻烦的是，不同医生的标注标准还不完全一致，同一张图两个人勾出来的边界能差出好几个像素。这就导致一个尴尬局面：数据有的是，标注却跟不上。

半监督学习就是冲着这个痛点来的。它的核心逻辑很朴素——少量标注数据加上大量未标注数据，让模型自己从无标签数据里“悟”出规律。但问题在于，怎么悟？早期的方法比如自训练、伪标签，思路是拿模型对未标注数据的预测当“假标签”来用，可医学图像里病灶边界本身就模糊，模型预测的伪标签噪声极大，训着训着就跑偏了。一致性正则化稍微好一点，通过对同一张图加不同扰动，要求模型输出保持一致，但大多数方法只在单一任务上做一致性，比如只约束分割结果，信息利用得不够充分。

DTC（Dual-task Consistency）这篇工作的切入点就在这里。它不满足于只在一个任务上做一致性约束，而是同时引入两个相关但不同的任务——分割任务和回归任务，让这两个任务的输出之间形成一种“互相监督”的关系。具体来说，分割任务输出的是每个像素的类别概率图，回归任务输出的是一个距离图（distance map），两者在数学上是可以互相转换的。DTC的核心思想就是：对同一张未标注图像，分别做两次前向传播，一次走分割头，一次走回归头，然后强制分割结果转换后的距离图与回归头直接输出的距离图保持一致。这样一来，未标注数据就被充分利用起来了，而且两个任务之间的互补性让一致性约束更加鲁棒。

这个思路为什么有效？打个比方，分割任务像是在画地图的边界线，回归任务像是在画地图的等高线。边界线画错了，等高线可能还能兜住；等高线画歪了，边界线也能拉一把。两个任务从不同角度描述同一个解剖结构，互相纠偏，比单一任务自己跟自己较劲要靠谱得多。而且DTC的设计很巧妙，它不需要对未标注数据做任何额外的预处理或增强策略，直接端到端训练，工程上非常干净。

适合谁来参考这个方案？如果你手头有几百张标注好的医学图像，同时还有几千张未标注的，想在不增加标注成本的前提下把分割精度往上提一提，DTC就是一个非常值得复现的baseline。它不挑模态，CT、MRI、超声都能用，也不挑器官，肝脏、心脏、前列腺都有人试过。下面我就把这个方法的整体设计、核心细节、实操流程和踩坑经验掰开揉碎了讲一遍。

2. DTC整体架构与双任务设计拆解

2.1 双任务分支的网络结构怎么搭

DTC的网络结构本质上是一个共享编码器加双解码器的架构。编码器可以用任何主流的分割骨干网络，比如U-Net的收缩路径、ResNet、或者更现代的Transformer结构。关键是解码器要分两路：一路输出分割结果，一路输出回归结果。

分割头的输出是一个C通道的概率图，C是类别数。以肝脏分割为例，C=2，前景和背景。回归头的输出是一个单通道的距离图，每个像素的值表示该像素到最近类别边界的距离。这里有个细节：距离图通常用有符号距离函数（Signed Distance Function, SDF）来表示，前景内部为正，背景为负，边界处为零。这样回归任务就变成了一个逐像素的回归问题，损失函数用L2或者L1都行。

两个解码器的结构可以完全一样，也可以根据任务特点做微调。我的经验是，分割头用常规的卷积加双线性上采样就够了，回归头可以在最后几层加一点更大的感受野，因为距离图的变化是全局性的，局部感受野太小容易学不到远距离的梯度信息。但差别不用太大，否则训练时两个分支的收敛速度会差很多，一致性约束反而变成拖累。

注意：编码器共享是DTC能work的前提。如果两个任务各用各的编码器，那就退化成两个独立模型了，一致性约束就失去了意义。共享编码器强制两个任务在特征层面就达成某种共识，这才是双任务一致性的精髓。

2.2 一致性约束到底约束在哪里

DTC的一致性约束不是直接拿分割概率图和距离图去算损失，而是做了一个可微转换。具体来说，对于未标注图像，先让它过一遍分割头，得到概率图P；然后对P做softmax，再通过一个可微的softmax到距离图的转换层，得到转换后的距离图D_conv。同时，同一张图过回归头，直接得到距离图D_reg。最后算D_conv和D_reg之间的L2距离，作为一致性损失。

这个转换层是DTC的一个技术亮点。它的做法是：对每个像素，计算它到前景区域和背景区域的softmax概率加权距离。数学上可以写成：

D_conv(x) = sum_{y in Omega} w(x,y) * P(y) / sum_{y in Omega} w(x,y)

其中w(x,y)是一个基于空间距离的权重函数，通常用高斯核。这个操作是可微的，所以梯度可以从一致性损失一路回传到分割头。这样一来，分割头在未标注数据上不仅受自己的预测影响，还受回归头的“意见”影响，两个任务被迫达成一致。

提示：转换层的实现是DTC复现中最容易出错的地方。高斯核的带宽参数需要根据图像分辨率调整，带宽太大距离图会糊成一片，太小又会导致数值不稳定。我的经验是，带宽设为图像短边长度的1/10到1/8之间比较合适。

2.3 有监督损失和无监督损失怎么平衡

DTC的总损失由三部分组成：有监督的分割损失、有监督的回归损失、以及无监督的一致性损失。有监督部分只在标注数据上算，分割损失用交叉熵或者Dice损失，回归损失用L2。无监督部分在未标注数据上算，就是前面说的一致性损失。

三者的权重需要仔细调。我的实测经验是，有监督分割损失权重设为1，有监督回归损失权重设为0.1到0.5之间，一致性损失权重从0开始慢慢往上加，最终稳定在0.5到2之间。为什么回归损失权重低？因为距离图的数值范围比概率图大得多，如果不降权，回归损失会主导整个训练过程，分割头反而学不好。一致性损失从0开始加是为了避免训练初期两个任务都还没学好就强行拉齐，容易导致模型崩溃。

这里有个训练策略上的细节：ramp-up。一致性损失的权重不是一开始就拉满，而是随着训练轮数线性增加。比如前20个epoch权重从0线性增到目标值，后面保持不变。这个技巧在大多数半监督方法里都通用，能显著提升训练稳定性。

3. 核心细节解析与实操要点

3.1 距离图的生成与转换层实现

距离图的生成有两种方式：一种是离线预计算，对有标注数据，根据ground truth分割图算SDF，存成npy文件，训练时直接读；另一种是在线计算，每个batch里动态算。离线的好处是省时间，坏处是数据增强后距离图也得跟着变，如果用了随机旋转、缩放，离线距离图就对不上了。所以我的建议是：如果数据增强里有几何变换，距离图必须在线算。

在线算SDF的代码不复杂，用scipy的distance_transform_edt就能搞定。但要注意，SDF的定义要统一。我见过有人用前景到背景的距离，有人用背景到前景的距离，还有人用两者的差。DTC原文用的是有符号距离，前景为正，背景为负。这个符号约定必须和转换层的实现匹配，否则一致性损失会算反。

转换层的实现更微妙。它本质上是一个softmax加距离加权的操作。伪代码大概长这样：

def softmax_to_distance(prob_map, bandwidth): # prob_map: [B, C, H, W] # 计算每个像素到前景和背景的加权距离 foreground_prob = prob_map[:, 1, :, :] # 假设类别1是前景 background_prob = prob_map[:, 0, :, :] # 生成空间权重核 kernel = gaussian_kernel(bandwidth) # 对前景概率做距离变换 fg_dist = distance_transform(foreground_prob, kernel) bg_dist = distance_transform(background_prob, kernel) # 有符号距离 sdf = fg_dist - bg_dist return sdf

实际实现时，distance_transform可以用卷积来近似，因为高斯核加权求和本质上就是卷积。这样整个操作就是可微的，梯度能正常回传。

注意：转换层的计算量不小，尤其是高分辨率图像。如果显存吃紧，可以把转换层放在下采样后的特征图上算，然后再上采样回来。精度损失不大，但显存能省不少。

3.2 数据增强策略与半监督的配合

半监督方法对数据增强很敏感。DTC原文用的是常规的随机旋转、翻转、加噪声。但我的经验是，增强强度不能太大。为什么？因为一致性约束要求同一张图在不同扰动下输出一致，如果扰动太强，模型根本没法保持一致，一致性损失就变成噪声了。特别是医学图像，解剖结构是固定的，你把它旋转90度，肝脏跑到不该在的位置，模型学出来的特征就乱了。

我一般用这几类增强：小角度旋转（±15度以内）、水平翻转、轻微弹性形变、亮度对比度微调。弹性形变的强度要控制好，医学图像里器官的形变是有限的，形变太大就失真了。加噪声的话，高斯噪声的标准差不要超过0.05，否则边界信息会被淹没。

还有一个技巧：对标注数据和未标注数据用不同的增强策略。标注数据可以增强得强一点，因为有人工标签兜底；未标注数据增强要温和，因为一致性约束全靠模型自己扛。这个细节在原文里没提，但实测下来对最终精度有1到2个百分点的提升。

3.3 训练流程与超参数设置

DTC的训练流程可以概括为：每个batch里同时采样标注数据和未标注数据，标注数据走有监督损失，未标注数据走一致性损失，两个损失加权求和后反向传播。这里有个工程上的坑：标注数据和未标注数据的batch size怎么分配？如果标注数据太少，有监督损失波动会很大；如果未标注数据太多，一致性损失又会主导训练。

我的做法是，标注数据和未标注数据的batch size比例控制在1:2到1:3之间。比如标注数据batch size为4，未标注数据batch size为8到12。这样既保证了有监督信号的稳定性，又充分利用了未标注数据。

学习率方面，初始学习率设0.01，用SGD或者Adam都行。Adam收敛快但容易过拟合，SGD稳但慢。我一般用Adam，学习率0.001，配合余弦退火。训练轮数看数据量，通常200到400个epoch。如果未标注数据特别多，可以适当增加轮数。

提示：DTC对初始化很敏感。如果编码器用了预训练权重，收敛会快很多。如果没有预训练，建议先用标注数据单独训一个分割模型，拿它的权重初始化DTC的编码器和分割头，回归头随机初始化。这样训练稳定得多。

4. 完整实操流程与关键环节实现

4.1 数据准备与预处理流水线

假设你手头有一个医学图像数据集，比如腹部CT，任务是分割肝脏。标注数据可能有30个病例，未标注数据有200个病例。每个病例是一个3D体数据，包含几十到上百张切片。

第一步是数据清洗。把那些切片里没有目标器官的去掉，比如肝脏只在部分切片里出现，其他切片全是背景，这些切片对训练没帮助，反而会引入噪声。我的做法是，只保留前景像素占比超过1%的切片。

第二步是重采样。不同病例的层厚和像素间距可能不一样，需要统一到各向同性分辨率，比如1mm×1mm×1mm。用SimpleITK或者nibabel都能做。重采样之后，图像尺寸可能变化很大，需要裁剪或者填充到固定大小，比如256×256。

第三步是归一化。CT图像的HU值范围很宽，通常把窗宽窗位调到腹部窗，比如窗宽400，窗位50，然后归一化到0到1之间。MRI的话，用Z-score归一化，减均值除标准差。

第四步是划分训练集和验证集。标注数据里拿80%做训练，20%做验证。未标注数据全部进训练集，但只参与一致性损失。验证集只用标注数据，算Dice和HD95。

4.2 模型搭建与损失函数配置

模型搭建用PyTorch或者PaddlePaddle都行。我以PyTorch为例，编码器用U-Net的收缩路径，四个下采样块，通道数从64翻倍到512。解码器分两路，每路四个上采样块，最后分别接1×1卷积输出分割概率图和距离图。

损失函数配置如下：

# 有监督分割损失 seg_loss = CrossEntropyLoss() + DiceLoss() # 有监督回归损失 reg_loss = MSELoss() # 一致性损失 consistency_loss = MSELoss() # 总损失 total_loss = seg_loss + 0.3 * reg_loss + ramp_up_weight * consistency_loss

其中ramp_up_weight从0线性增加到1.0，前20个epoch完成增加。reg_loss的权重0.3是经验值，可以根据距离图的数值范围调整。如果距离图数值很大，权重再降一点。

注意：Dice损失对医学图像分割很重要，因为前景背景极度不平衡。肝脏占整张图的比例可能只有5%到10%，只用交叉熵的话模型会倾向于预测背景。Dice损失能缓解这个问题。

4.3 训练循环与验证策略

训练循环里，每个iteration做这几件事：

1. 从标注数据里采样一个batch，前向传播，算分割损失和回归损失。
2. 从未标注数据里采样一个batch，前向传播两次，一次走分割头，一次走回归头，算一致性损失。
3. 三个损失加权求和，反向传播，更新参数。

验证的时候，只用标注数据的验证集，算Dice系数、Jaccard指数、HD95距离。每5个epoch验证一次，保存验证集上Dice最高的模型。

这里有个细节：未标注数据的前向传播要不要加噪声？我的做法是加一点随机高斯噪声到输入图像上，强度很小，标准差0.01。这样一致性约束不仅约束了两个任务，还隐式地约束了模型对噪声的鲁棒性。实测下来，加了噪声之后验证集Dice能提升0.5到1个百分点。

训练日志要记录每个epoch的三个损失值、学习率、验证集指标。如果一致性损失突然飙升，说明两个任务分歧太大，需要降低一致性权重或者暂停一致性约束几个epoch再继续。

4.4 推理与后处理

推理的时候只用分割头，回归头可以扔掉。输入一张图像，分割头输出概率图，取argmax得到分割结果。后处理可以做连通域分析，去掉小的孤立区域，或者用形态学操作平滑边界。

如果要做3D分割，可以把2D切片的结果堆叠起来，然后在3D空间做后处理。比如用3D连通域去掉小的孤立体素块。但要注意，2D切片之间的不一致可能导致3D结果有锯齿，可以用条件随机场或者简单的平滑滤波处理一下。

提示：推理时可以用测试时增强（TTA），对输入图像做多次翻转旋转，取平均预测。TTA能稳定提升1到2个百分点的Dice，代价是推理时间翻几倍。如果对实时性要求不高，建议加上。

5. 常见问题与排查技巧实录

5.1 一致性损失不下降怎么办

这是DTC复现中最常见的问题。一致性损失不下降，说明两个任务的输出始终对不齐。可能的原因有几个：

第一，转换层的带宽参数不对。带宽太大，距离图糊成一团，两个任务输出都差不多，一致性损失自然不降；带宽太小，距离图对边界极其敏感，两个任务稍微有点偏差损失就很大，梯度爆炸。解决办法是可视化距离图，看看转换后的距离图和回归头输出的距离图长什么样，手动调带宽。

第二，回归头学得太慢。如果回归损失权重太低，回归头根本没学好，一致性约束就是拿一个没学好的东西去约束分割头，自然没用。解决办法是先把回归损失权重调高一点，让回归头先收敛，再加一致性损失。

第三，两个任务的容量不匹配。如果分割头很深，回归头很浅，回归头表达能力不够，一致性约束就变成分割头单方面迁就回归头。解决办法是让两个解码器结构尽量对称。

5.2 验证集Dice波动大怎么稳住

半监督训练本身就不太稳定，验证集Dice波动是正常的。但如果波动超过3个百分点，就需要排查了。

首先看数据增强是不是太强了。特别是弹性形变，如果形变参数设得太大，每张图变形都不一样，模型学到的特征就不稳定。把弹性形变的强度降一半试试。

其次看学习率是不是太高。半监督训练对学习率比全监督更敏感，因为未标注数据的梯度噪声更大。把学习率降一个数量级，训练轮数相应增加。

还有一个可能：标注数据和未标注数据的分布不一致。比如标注数据来自一台机器，未标注数据来自另一台，图像风格差异大。这种情况下，一致性约束会把模型往未标注数据的方向拉，但验证集是标注数据的分布，Dice自然波动。解决办法是做域适应，或者干脆只用和标注数据同分布的未标注数据。

5.3 显存不够怎么优化

DTC因为要同时跑两个解码器，显存占用比普通分割模型大不少。如果显存吃紧，可以试试这几招：

• 把batch size降到1，用梯度累积模拟大batch。
• 把转换层放在下采样后的特征图上算，省显存。
• 用混合精度训练，显存能省30%到40%。
• 如果输入是3D数据，可以切成2D切片训练，推理时再拼起来。

注意：混合精度训练时，一致性损失的计算要用float32，否则数值精度不够，距离图会算不准。PyTorch里可以用torch.cuda.amp.autocast配合GradScaler，但转换层要手动指定float32。

5.4 常见问题速查表

6. 实操心得与进阶调优建议

6.1 从零复现的几条经验

我第一次复现DTC的时候，踩了不少坑。最大的坑是转换层的实现。原文里对转换层的描述比较简略，我一开始用了一个近似实现，结果一致性损失根本降不下去。后来仔细推敲了softmax到距离的转换公式，发现关键在于距离加权的方式。不是简单地对概率图做距离变换，而是要用softmax概率作为权重，对空间距离做加权平均。这个细节搞错了，整个一致性约束就失效了。

第二个坑是回归损失的权重。我一开始把回归损失权重设得和分割损失一样，结果回归损失数值太大，梯度主导了训练，分割头学不动。后来把回归损失权重降到0.1，训练才正常。所以超参数这东西，不能照搬论文，得自己调。

第三个坑是数据增强。我一开始用了很强的弹性形变，想着增强泛化能力，结果一致性损失一直很高，模型学不到东西。后来把弹性形变强度降了一半，一致性损失才慢慢降下来。半监督学习里，增强策略要温和，因为模型自己还要靠一致性约束来学习，增强太强就变成自欺欺人了。

6.2 进阶调优：让DTC更稳更准

如果你已经把DTC跑通了，想再往上提一提精度，可以试试这几个方向：

多尺度一致性。不只在全分辨率上算一致性损失，还在下采样后的特征图上算。这样一致性约束覆盖了不同尺度的信息，对边界模糊的区域更鲁棒。实现上就是在编码器的不同层级引出特征，分别过转换层和回归头，算多尺度一致性损失。

自适应权重。一致性损失的权重不是固定的，而是根据两个任务的分歧程度动态调整。分歧大的时候降低权重，分歧小的时候提高权重。这样训练更稳定，收敛更快。

结合对比学习。在编码器后面加一个投影头，对标注数据和未标注数据做对比学习，拉近同类样本的特征距离。这个思路和DTC互补，一个在输出层面做一致性，一个在特征层面做一致性。

伪标签加DTC。先用DTC训一个模型，对未标注数据生成伪标签，挑置信度高的加入训练集，再训一轮。这个自训练循环能进一步利用未标注数据，但要注意伪标签的噪声，置信度阈值要设高一点，比如0.9以上。

6.3 这个方案还能怎么扩展

DTC的思路不局限于医学图像分割。任何有两个相关任务的场景，都可以试试双任务一致性。比如：

• 深度估计和表面法线估计，两者可以互相转换，做一致性约束。
• 光流估计和遮挡检测，两者互补，可以做一致性。
• 语义分割和实例分割，虽然任务不同，但在某些数据集上可以互相监督。

核心思想就是：找一个和主任务相关但不同的辅助任务，让两个任务在未标注数据上互相约束。辅助任务的选择很关键，它必须和主任务有数学上的转换关系，否则一致性约束没法算。这个思路的通用性很强，值得在别的领域试试。

提示：辅助任务的选择要满足两个条件——第一，和主任务有可微的转换关系；第二，辅助任务的标注成本不能比主任务高。如果辅助任务也需要大量标注，那就失去半监督的意义了。

6.4 最后分享几个小技巧

训练DTC的时候，我习惯在第一个epoch只训有监督部分，不加一致性损失。等有监督损失降到一个合理值之后，再开始加一致性损失。这样模型先有一个好的初始化，后面的一致性约束才不会把模型带偏。

还有一个技巧：对未标注数据做两次不同的增强，分别过分割头和回归头。这样一致性约束不仅约束了两个任务，还约束了模型对不同增强的鲁棒性。实测下来，这个改动能让验证集Dice提升1个百分点左右。

最后，别忘了保存训练日志和中间模型。半监督训练的不确定性大，有时候中间某个epoch的模型比最后的还好。我一般每10个epoch存一个checkpoint，最后在验证集上挑最好的那个。

这个方案我前后复现了三四次，每次都有新的收获。DTC不是那种“一招鲜”的方法，它的价值在于提供了一个通用的半监督框架，你可以在这个框架上叠加各种技巧。如果你也在做医学图像分割，手头又缺标注，不妨试试这个思路。