从D-FINE到D-FINE-SEG：检测模型快速扩展实例分割的改造实践

D-FINE这个名字，做检测方向的朋友应该不陌生。它把DETR系列那种靠query查漏补缺的思路，和CNN那种直接了当的局部特征提取融合在一起，在精度和速度之间找到了一个挺舒服的平衡点。但检测到头来只能给个框，很多场景下框是交不了差的，尤其是边缘轮廓切割、目标物遮挡判断、或者统计目标物像素占比这类需求，框住一块矩形区域没有任何意义。所以这次我直接动手，把D-FINE从纯检测模型扩展成了实例分割模型，内部代号D-FINE-SEG。这篇就当作是update1的第一阶段记录，分享一下从模型结构改造到训练调参的完整过程。

做这个改造的人，大多是想在已有检测框架上挂分割能力，又不想从零训练一个重型的Mask-RCNN或者两阶段的检测分割模型，也不想折腾复杂的多阶段训练流程。这篇内容适合那些熟悉DETR类检测模型，但没怎么碰过实例分割任务的开发者，以及打算在自己项目中快速验证分割效果、又不想引入太多额外工程复杂度的研究者和工程师。

1. 从检测到分割：改造前的思路梳理

1.1 先吃透D-FINE的核心结构

动手改代码之前，我花了不少时间把D-FINE的结构拆开来看。D-FINE本质上还是DETR那一派的，特征提取靠ResNet或者类似的主干网络，然后Transformer解码器用一组object query去和特征图做交叉注意力，逐步细化边界框和类别预测。它和原始DETR的一个明显区别，是它在解码器内部引入了类似CNN的局部归纳偏置，这让它在少训练轮数的情况下也能较快收敛，不像原版DETR那样需要几百个epoch才能稳定。

另一个关键设计是它用了一种叫做“细粒度定位”的机制，简单说就是每一层解码器都会对上一层的框坐标做修正，修正的幅度由一个小网络预测。这有点像迭代精修，但每一步的修正量都控制得很小，不会出现震荡。这在检测框回归上确实好使，但我当时就琢磨，这个精细修正的思路能不能复用到轮廓预测上。轮廓本质上也只是一组坐标序列，理论上是可以的。

1.2 实例分割到底比检测难在哪

搞懂D-FINE的结构，接着就要搞清楚我到底要加什么东西。

检测任务输出的是“这个框在哪儿”和“框里是什么”，是稀疏的语义信息。实例分割输出的则是一张和原图尺寸接近的掩码图，或者一组多边形的顶点坐标，要求对每个像素做出属于哪个实例的判断，是密集的、空间上连续的输出。两者的目标函数、评价指标、后处理方式都不一样。

这带来的第一个难点是监督信息的构造。检测框可以用矩形表示，掩码则要处理任意形状。我在数据准备阶段就要先决定用哪种掩码表示：是RLE编码的位图，还是polygon多边形坐标，还是像一些模型那样直接用固定数量的点集来描述轮廓。D-FINE的输出头是连续坐标的回归，我自然倾向于把掩码建模成坐标序列。

第二个难点是显存和计算量的放大。分类头只输出固定维度的向量，分割头却要输出大分辨率的目标掩码。如果每个object query都预测一张高分辨率掩码，显存会被瞬间吃满。后面我会详细讲我在这里做的一些妥协。

第三个难点是训练难度的提升。检测的框回归对噪声相对不敏感，框稍微偏几个像素也可以接受，但掩码一个像素的偏移就会在视觉上暴露出来。这要求分割分支有更精细的监督信号和更稳的训练策略。

1.3 三条改造路线的取舍

我调研了一圈常见的改法，基本上有三条路可走。

第一条是在D-FINE的检测框内做RoI Align裁剪，然后在每个裁剪区域里跑一个小型的分割头。这和Mask R-CNN做了两阶段的思路类似，优点是分割精度相对高，缺点是速度慢，而且一旦检测框回归不准，裁剪区域就偏了，后续分割根本无从谈起。

第二条是完全抛弃框，在Transformer解码器里直接学习一组掩码query，每个query负责一个实例的掩码预测。这类方法的代表是Mask2Former的思路，效果确实好，但改动量非常大，基本上解码器要重新设计，预训练权重也得跟着调，不适合我在短期内改造现有的检测模型。

第三条是我最终采用的方案：保持D-FINE的整体架构不动，在解码器输出的object query之后，并联一个掩码预测分支。这个分支不依赖检测框做裁剪，而是直接用query的特征去生成一组边界控制点或掩码特征图。本质上就是把“框坐标回归”这种稀疏预测任务，换成“边界点序列回归”这种稍微稠密一点的坐标预测任务。

第三条路线的好处在于改动最小，原有检测分支基本不用动，预训练权重可以直接复用，剩下的大量训练时间可以花在新增分支和对应loss的调试上。缺点也很明显，边界点序列的表达能力有限，遇到特别复杂的凹多边形轮廓会有点吃力。但我选择的出发点本来就是“快速让模型拥有分割能力”，不是冲击刷榜精度，这个权衡是可以接受的。

2. 掩码分支的架构设计与关键技术点

2.1 掩码头到底该接在哪一层

D-FINE的解码器有若干层，每一层都会输出一组预测框和类别。直接在最顶层的输出上接分割头当然可以，但我跑了一次实验之后发现，顶层输出的query特征已经高度抽象，空间细节损失了不少，直接在上面做分割，小目标的掩码糊成一团。

后来我把掩码分支接到了三个不同尺度的解码器输出上，类似于检测里的FPN结构，浅层的特征负责小目标轮廓，深层的特征负责大目标和全局语义。具体做法是，把解码器中间层的query输出和主干网络对应尺度的特征图做融合，再喂给掩码预测层。这样每个尺度的分割头都能拿到和自己分辨率匹配的细节信息。

代码上改动其实不多，初始化掩码预测层的时候，把输入维度改成D-FINE隐藏层维度和主干输出维度的加和就行：

# 以三个尺度为例 mask_head_input_dim = [hidden_dim + c2_dim, hidden_dim + c3_dim, hidden_dim + c4_dim] mask_heads = nn.ModuleList([ MaskHead(in_dim, hidden_dim, num_control_points) for in_dim in mask_head_input_dim ])

这里c2_dim、c3_dim、c4_dim是对应主干网络不同层的输出通道数，num_control_points是我预设的轮廓点数量。接不同尺度的特征后，小目标和大目标的分割效果比原来单接顶层好了不少，尤其是小目标那一档，mAP大约提升了2到3个点。

2.2 用动态卷积生成掩码控制点

掩码分支的另一个核心设计是控制点生成方式。我没有直接让query通过全连接层去回归一个固定坐标集合，那样做确实能跑通，但轮廓点的位置之间缺乏结构约束，预测出的点常常乱序、交叉、甚至挤成一团。

我换成了动态卷积的思路，具体来说是借鉴了动态滤波的思想。一组新定义的“掩码过滤器”作为动态卷积核，输入是解码器输出的object query，输出是一组空间权重图，再用这组权重图去调制主干特征提取出来的空间特征，从而生成掩码控制点。

这样做的好处是，控制点不再是凭空生成，而是基于特征图上实际的目标位置响应来推断的，空间一致性强不少。代码层面就是定义一组类似动态卷积的模块，把query当作kernel的生成条件，然后作用在空间特征上。

def forward(self, query, spatial_feature): # query: [B, N, D] -> kernel: [B, N, K*K*C] kernel = self.kernel_generator(query) kernel = kernel.view(B, N, K * K, C) # spatial_feature: [B, C, H, W] out = F.conv2d(spatial_feature, weight, groups=1) # 配合坐标注意力得到控制点的热图 heatmaps = self.heatmap_head(out) points = self.points_from_heatmaps(heatmaps) return points, heatmaps

这样每个实例的掩码控制点都由它自己的query生成，实例之间有天然隔离，不会出现两个目标共享同一组轮廓点的情况。这一点在训练初期特别明显，分开生成的收敛速度比整体回归的方式快了一倍左右。

2.3 控制点坐标的归一化与温度系数

坐标回归的稳定性比分类问题要难控制得多。回归任务输出范围大，梯度量级不稳定，我这里做了两件事：一是把控制点坐标归一化到0到1之间，避免不同尺寸目标因为像素量级不同而干扰训练；二是在坐标回归头上加了个温度系数，用来控制回归的锐利程度，类似知识蒸馏里temperature的作用。

具体实现时，内部先让网络输出一个未缩放的原始坐标值，然后除以一个可学习的温度参数，再过一个tanh或者sigmoid把数值拉回0到1的范围。这个温度参数初始值设成了2.0，随着训练进行会自适应调整。这个设计的出发点在于，有些目标轮廓简单，几个点就能描述清楚，有些目标轮廓复杂，需要更精细的响应。温度参数实际上是给模型一个自由度，让它自己决定输出的置信程度。

调过之后，训练初期的坐标回归loss显著下降，不再像之前那样反复震荡。如果直接不加温度参数，原始坐标值一上来就是几十甚至上百的大数值，损失的梯度爆炸问题会拖慢整个训练进程。

3. 损失函数设计与训练策略调整

3.1 分割损失和监督信号构造

改造成分割模型之后，原来的D-FINE检测loss还不够，需要补一个掩码监督。我用的是多任务加权的方式，在D-FINE原有的分类loss和框回归loss之上，加了一个轮廓点回归的SmoothL1 loss，以及一个掩码区域的交叉熵loss。

之所以保留两路loss，是因为轮廓点和像素掩码各有各的优势。轮廓点能给出紧凑、结构化的表达，但在复杂凹形上的精度受限；像素掩码能精确定位每个像素的归属，却不容易直接用于下游的几何计算。两路输出互补，最后融合在一起出结果。

掩码区域的交叉熵并不是用一整张原图算的。D-FINE天然就有object query和对应框，训练时候有匹配好的GT框。我这里直接把GT框裁剪下来，只在这个裁剪区域内计算掩码loss。这样能屏蔽掉背景像素的干扰，注意力集中在实例本身，训练效率高很多。

loss权重分配上，我试了好几组，最后用的组合是分类loss权重2.0、框回归1.0、轮廓点回归2.0、掩码交叉熵1.0。分割分支的loss权重不宜太高，否则模型会为了把掩码做精确而牺牲检测精度，迁移到未见过的数据上反而容易过拟合。

3.2 训练参数和优化器细节

训练用的框架我直接基于D-FINE现有的环境做的扩展，主要改动在数据加载和loss计算部分。优化器用的是AdamW，初始学习率设成1e-4，权重衰减0.05，这和大多数DETR类模型保持一致。

我先用COCO的一个子集试跑，大概6万张图的规模，batch size设为16。整卡显存大约占14GB，如果是8GB显存的小卡，batch size降到4就能跑，代价是训练时间拉长。

学习率方面我没有用常规的阶梯下降，用了余弦退火调度器，一共训练了36个epoch。第一次训练到第12个epoch时发现模型已经收敛得很不错了，当时有点惊讶，因为检测模型一般要到接近训练尾声效果才好。后来想通了，原因是我直接复用了D-FINE在COCO类别上的预训练权重，迁移学习的起点高，所以收敛快。如果是随机初始化权重从头训练，肯定要拉长到48甚至60个epoch。

3.3 推理流程：从控制点到完整掩码

训练完成之后，推理时如何把输出的控制点还原成掩码，也是需要仔细处理的一个环节。

控制点的数量我这边固定为32个点。输出后，我先用这些点拟合一个凸多边形，处理掉一些明显离群的异常点，然后对轮廓做插值，把点序列加密到128个点，最后通过填充算法生成完整的二值掩码。

对于复杂的目标，比如物体有多个凹陷、或者被遮挡导致轮廓断裂，仅仅靠32个控制点来拟合是有些吃力的。我的处理是，让分割分支同时输出一个“边界热度图”，热度图的峰值位置可以修正控制点的偏移，相当于是像素级的信息来辅助几何级的预测。两步走之后，掩码精度明显提升，尤其在遮挡场景下，掩码不再像之前那样直接膨出一块不规则的凸包。

推理的速度方面，控制点预测分支本身很轻量，只增加了几毫秒的延迟。总体FPS从纯D-FINE的45掉到了42左右，完全在可以接受的范围里。

4. 试跑阶段踩过的坑与调参记录

4.1 显存初期直接爆了

第一次跑完整训练的时候，我当时图省事，直接在解码器的每一层都接了掩码头，而且每个掩码头都输出高分辨率的特征图。结果训练脚本刚跑几步就报CUDA out of memory，卡在掩码头那一层的特征图分配上。

排查之后定位到问题是输出的特征图通道数和分辨率叠加得太高。后来把掩码头输出的特征图分辨率降为原来的四分之一，通道数从256压缩到128，显存立刻从爆掉变成剩下约3GB余量。这里我的建议是，掩码头的输出分辨率不要一直顶到输入图像的分辨率，分割任务的特征图分辨率过大收益有限，显存开销却成倍增加。

4.2 掩码区域对的但边界糊

训练到中期后，掩码区域基本能覆盖目标，但边界和GT差很多。刚开始我以为是模型容量不够，后来一步步排查才发现，问题出在轮廓点数量上。32个点对于大多数目标来说还是偏少，杯子、瓶子这类表面平滑的目标还好，一旦遇到叶片、椅子这种轮廓复杂的物体，折线误差就很明显。

解决办法是增加控制点数量，但全局增加又会显存爆炸，也会让简单目标出现过拟合。最后我采用了动态点数策略，根据检测框的宽高比来动态决定控制点数量：宽高比越接近1的目标，用更多的点，宽高比极端的目标，比如长条形的物体，点数适当减少。这样既保证了复杂目标的表达能力，又控制了整体计算量。

4.3 训练震荡与损失下降异常

有一段时间损失函数总是在下降过程中突然跳升，排查了几天发现是分布式训练时不同卡之间的batch size不一致，导致梯度同步出了问题。因为我是在多卡环境上跑的，虽然脚本里设了batch size 16，但实际是每张卡一个batch，总batch其实是卡数乘16。损失在一个batch里正常、换一个batch就跳，整个训练过程很不稳定。

后来我统一了数据加载逻辑，确保每次迭代中所有卡拿到的数据量完全一致，并且梯度累积阶段不混入不同尺寸的样本，才把这个问题压下来。这个看起来很小的问题，实际上很消耗时间，早检查早安心。

另一个震荡原因是学习率预热不够。D-FINE原版训练时预热是从第0步到第2000步左右做的，线性上升。我把分割分支接上去之后，新增分支的初始学习率如果也跟着一路往上冲，很容易在早期就把权重甩飞。我的做法是新增的分割分支初始学习率设为其他层的十分之一，并且单独不做预热，让它缓慢起来，整体稳定性好了很多。

4.4 一张快速调参参考表

我把这次试跑过程中比较有代表性的几组配置记录下来，方便后面做对比实验或者给有类似需求的朋友节省时间：

5. update1阶段的效果评估与下一步计划

5.1 分割结果数据实测

在COCO子集上做了几轮评测，掩码分支加上之后，检测分支的指标几乎没有下降，AP50大概从之前的73掉到了72.4，基本可以忽略不计。掩码AP这边，在简单目标（瓶子、杯子、书籍）上能达到62左右，复杂目标（椅子、植物）上大概在48上下。整体掩码AP接近50。这个水平不能和一些专门设计的Mask模型相比，但在把D-FINE快速扩展成分割模型的赛道上，这个代价算很划算了。

跑了一些真实场景的测试图，效果比较直观。对于单个目标居中、背景干净的图片，分割掩码基本能精确到轮廓边缘。对于密集遮挡的场景，比如几个物体叠在一起的桌面俯拍图，分割边界会有轻微粘连，整体上还是能区分出实例归属的。

5.2 推理延迟与部署成本

推理速度前面提到大概从45FPS降到42FPS，这是用一张消费级显卡测出来的纯模型延迟，没算图像解码和前后处理的时间。如果算上后处理里控制点到掩码的转换，总的单张图处理时间大约在26毫秒左右。

部署方面，分割分支引出了新的算子和数据结构，转成其他推理引擎时会比纯检测模型麻烦一些。不过因为分割分支本质上也只是一些卷积和矩阵运算，没有用特别小众的自定义算子，所以落地难度不大。如果是为了上线节省显存，还可以考虑把掩码生成的插值过程搬到CPU端做，GPU只负责出控制点，这样显存占用再降一些。

5.3 下一步要补的东西

update1版本的掩码控制点依赖预设数量，遇到极端复杂的轮廓还是会有信息瓶颈。我计划在下一个版本里引入自适应点数调节，根据检测对象本身的复杂度动态调整控制点数量，而不是依赖框宽高比这种间接指标。

另外，现在的掩码损失只在检测框的裁剪区域里计算，这让掩码天然受限于检测框的范围。如果检测框稍微偏一点，掩码也跟着偏差。后面打算把掩码分支直接接到主干特征上，让它不再完全依赖检测框的边界，而是更多地直接从特征图上提取空间信息，让分割更加独立。

还有一点，当前版本是单帧图像的实例分割，对于视频流来说时序上的抖动比较明显。后续可以在掩码分支里加入轻量级的时间维建模，或者在后处理里做时序平滑。

5.4 写给打算复现的人几句实在话

如果你也想把一个检测模型改成分割模型，我的建议是不要一上来就复刻Mask2Former那种大改动架构，除非你有充足的数据量和算力做支撑。最稳妥的路线是先保住原有的检测分支不动，用并联分割分支的方式验证效果，然后再逐步优化。这样每次迭代的风险都可控，随便改出问题也不会波及到已经稳定的检测能力。

数据标注也很关键。D-FINE-SEG训练时我用的掩码标注是从公开数据集转来的RLE格式，但RLE转控制点的时候不同类别之间的坐标分布差异很大，直接会影响loss收敛。如果你在自己的数据集上训练，建议先可视化几批标注转换后的控制点，确认它们的位置和语义符合直觉再开始训练，不要跳过这一步。

训练过程中多去看看那个温度系数和学习率的具体数值变化，如果发现温度系数一直增大、学习率波动过大，大概率是数据格式和特征对齐出了偏差，及时调整，不要等到损失曲线发散了再回查。