RPN_R101_FPN框架下的左心室多结构检测与定位实践

做心脏影像分析的人大概都遇到过这种争论：同一帧短轴切面，一个医生把心内膜边界画到乳头肌外侧，另一个画到乳头肌内侧，一差就是几个毫米，而射血分数的计算完全依赖这条边界的准确定位。所以当我要做左心室区域多结构识别与定位的时候，第一反应不是继续卷分割网络，而是先让模型把“哪些结构在哪里、大概是什么范围”这件事做扎实。这篇文章是我在RPN_R101_FPN框架上实现这个任务的完整复盘，包含任务拆解、算法选型、数据标注规范、训练配置和定位失败的排查思路，适合正在做医学影像目标检测，或者准备把两阶段检测器用到解剖结构识别上的朋友参考。

1. 左心室区域到底有哪些结构：任务拆解与难度判定

1.1 任务边界：短轴切面上的结构清单

左心室不是一个“全有或全无”的整体，它内部有血池、心肌、乳头肌，边界上有心内膜和心外膜，旁边还有室间隔和右心室。在心脏短轴切面上，标准的多结构识别任务通常包含这几类：左心室血池、心肌壁、室间隔、右心室腔、前外侧乳头肌、后内侧乳头肌。如果采集层面偏基底，还可能出现主动脉瓣或左心室流出道，这部分结构形态变化大，要不要纳入检测范围，取决于下游临床问题。

我在项目里最终定了6个目标类别：左心室血池、心肌、室间隔、右心室腔、前外侧乳头肌、后内侧乳头肌。每个结构用带类别标签的边界框表达，输出结果是“图像上每个位置的框类别和框坐标”。这套输出格式看起来简单，但对后续定量分析非常有用：心室腔的框可以约束心内膜分割的起始区域，心肌框能给出室壁厚度测量的位置先验，乳头肌的定位则直接影响血池分割是否会把乳头肌误算进心肌。

1.2 尺度差异、包含关系与层面变化：三类难点

这三类难点在实践里会直接变成模型失败模式。尺度差异意味着同一个特征金字塔的同一层不可能同时完美表达血池和乳头肌；包含关系意味着允许框之间互相重叠，不能简单按自然图像里“一个目标一个框”的思维去做后处理；层面变化更麻烦——基底段能看到流出道和瓣膜，中间段乳头肌最清晰，心尖段血池变小且没有乳头肌。模型在没有层面先验的情况下，必须自己学会区分这些形态差异，这比单纯检测自然图像中的物体要难得多。

1.3 为什么先做框级定位而不是直接分割

我最早试过直接在原始图像上跑分割模型，同时输出多个结构，效果很不理想。最大的问题出在标注一致性上：像素级标注需要标注者逐像素描边，而左心室血池、心肌、乳头肌这三者之间的边界定义，不同标注者的理解差异非常大。同一个乳头肌，有人把它全部分到血池区域，有人把它划到心肌里，交并比经常不到0.6。

检测框反而更稳定。标注者只需要给出结构的外接矩形，不需要纠结边界上每个像素的归属，标注一致性明显更高，标注成本也低得多。更重要的是，很多临床任务的起点就是“知道结构在哪里”——先定位再量化。有了一个稳定可靠的框，后面无论是裁剪ROI做分割，还是统计结构区域内的信号特征，都有了落脚点。框级定位不是像素级分割的替代品，而是更前端、更基础的一步。

2. RPN_R101_FPN的原理拆解：三个组件各解决什么问题

2.1 ResNet-101深度骨干：细节纹理与高层语义的取舍

R101指的是ResNet-101骨干网络。为什么在医学小数据集上还敢用101层这么深的网络？因为迁移学习解决了我最担心的问题。我用的是在大型自然图像语料上预训练过的权重，微调时相当于让模型在“已经会看边缘、纹理、形状”的基础上，再学习“心脏结构长什么样”。ResNet-101比50层版本多出来的那一截，主要贡献在高层的语义抽象能力，它能学到类似“血池和心肌之间的边界不是简单灰阶跳跃，而是包含乳头肌导致的局部膨胀”这样的复杂模式。

这里有一个关键细节：预训练骨干的BatchNorm统计量来自自然图像，而医学影像的分布和自然图像差别非常大。如果batch size设得小，比如单卡只有2张图，BN统计量在微调过程中会剧烈震荡，训练会很飘。我在项目里要么把batch size撑到4以上，要么把骨干前几层的BN替换成GroupNorm。frozen_stages=1这个配置也值得用，它把骨干最前一层冻结住，既省显存，又避免预训练特征在微调初期被破坏。

2.2 FPN多尺度特征：解剖结构尺寸跨度大，单层特征不够用

FPN就是特征金字塔网络。用一个不严谨但容易理解的类比：看左心室血池这种大结构，需要广角视野，它能告诉我们“这里有一个大面积的血池区域”；看乳头肌这种小结构，需要微距视野，它要保留足够的像素级细节来定位一个20像素宽的长条。FPN干的事就是同时给你这两种能力。

ResNet骨干的不同阶段天然产生不同分辨率的特征图，低层特征分辨率高但语义弱，高层特征语义强但分辨率低。FPN通过自顶向下的路径和横向连接，把高层的语义信息逐层传递下去，让每一层特征图都同时具备“足够的分辨率”和“足够的语义”。在RPN阶段，会根据anchor的尺寸自动把不同大小的目标分配到不同特征层：小结构的anchor匹配到低层高分辨率特征，大结构的anchor匹配到高层低分辨率特征。左心室血池和乳头肌在尺寸上的鸿沟，就是靠这个机制拉平的。

2.3 RPN加RoI Head的两阶段设计：医学小数据下的稳健之道

两阶段检测的流程是：RPN先扫一遍全图，生成一堆可能包含目标的候选区域，RoI Head再对每个候选区域做精细分类和边界回归。这个设计在医学场景里很有价值。RPN相当于初筛，它不需要把类别分得多准，只需要尽量把“看起来像解剖结构”的区域都找出来；RoI Head再对这些数量有限的候选框做细活。

单阶段检测器（比如YOLO系列）直接在特征图上做密集预测，收敛速度确实快，但对小结构、密集重叠结构的处理明显吃力。医学影像的数据量不会有自然图像那么多，两阶段的好处是每个任务都相对简单：RPN只需要学前景背景，RoI Head只需要学“这位候选框是什么结构”，两者需要的样本量都比端到端密集预测少很多。

这里还要提RoI Align。老式的RoI Pooling在把候选框映射到特征图时做了两次取整，会产生几个像素的平移误差。心室壁厚度测量往往需要和毫米级分辨率打交道，几个像素的偏差足以让同样一组数据得出不同的结论，所以RoIAlign是必选项。

在项目实践里，数据量不够、结构尺度跨度大，这两条已经足够让我选择两阶段方案了。速度慢一点可以接受，医学影像分析本来就不是实时场景。

3. 数据标注与预处理：决定定位精度的隐形因素

3.1 预处理流程：从DICOM到标准化输入

医学影像的原始数据不是一张现成的JPG，它带着一整套设备参数和像素语义。CT的像素值是亨氏单位，MRI的像素值则是相对信号强度，两者的取值范围和含义完全不同。项目里拿到的是合作方脱敏后的影像数据，以心脏短轴切面为主，模态覆盖MRI和超声，这就意味着预处理必须把不同来源的数据拉到同一套标准上。

我的预处理管线是这么设计的。先用DICOM解析库读出像素矩阵和元信息；CT数据做窗宽窗位调整，把目标结构所在的灰度范围映射到位深；MRI数据做信号归一化。然后做重采样，把不同采集设备的像素间距统一到各向同性，通常约1毫米，这一步极其重要——如果不同来源的图像像素间距不一致，同一套anchor参数在不同图像上的物理尺寸含义就完全不同。最后把灰度图复制成三通道并做ImageNet风格的标准化，目的是让输入分布尽量接近预训练模型见过的数据，迁移学习才效果好。

3.2 标注规范：解决“同一个结构不同医生画得不一样”

我遇到过很典型的情况：同一个室间隔样本，一个标注者把框画到左右心室边界之间，另一个标注者把框画成了包含室间隔和部分游离壁的大框，类别AP一直上不去。这不是模型的问题，是标注规范没有定清楚。

框级标注的规范比很多人想象的复杂。我整理了几条硬性约定：第一，外接矩形要包含完整结构边界，但不要刻意留白过大，留白太大会让RoI Head学到一堆背景纹理；第二，乳头肌的框从根部插入点开始，一直覆盖到游离缘，长条形结构就用带角度的外接矩形思想去描述；第三，允许不同类别的框互相包含，比如乳头肌框在血池框内部，这是解剖事实，不需要在标注时强行挖空；第四，室间隔和心肌框的关系必须书面定义清楚，我的约定是室间隔框覆盖肌性隔的左右边界，心肌框不含室间隔区域，两者可以有少量重叠。

质量控制部分，项目采用双重标注加仲裁机制。两个标注者独立标注，只有一致性达到阈值（比如框中心点距离小于5像素，面积重合度高于0.7）的样本进入训练集，分歧大的样本由第三人仲裁或直接剔除。这个过程投入的人力不小，但它换来的模型上限提升，远大于换任何模型结构。

3.3 数据增强的边界：保守派做法与禁忌

医学影像的数据增强必须克制。推荐的做法是水平翻转、小角度旋转（±15度以内）、亮度对比度扰动，以及模拟传感器噪声的微扰。这些增强不会破坏解剖结构的形态先验，只是让模型对设备和采集参数的变化更鲁棒。

不建议做的有弹性形变、大幅仿射变换、随机遮挡。解剖结构的整体形态本身就是高度规范的，乳头肌不会变成圆形，心室腔不会变成三角形。过度形变可能让模型学到错误的结构形态，短期看训练loss更低，测试时遇到真实生成方式的数据反而会暴露出问题。随机遮挡对自然图像有效，但医学影像上结构被遮挡往往意味着病理变异，把它当增强会让模型对真实病变区域产生误判。

类别不平衡也需要在数据层面处理。乳头肌框小、且只在特定层面出现，训练集里它的样本占比天然偏低。我在采样时对包含乳头肌的帧做了过采样，同时控制心肌和血池类别的样本不超过合理比例，保持每个batch里的类别分布相对均衡。

4. 训练配置与调参记录：从COCO格式到损失曲线

4.1 框架选型与数据格式转换

我用的检测框架是PyTorch生态下的开源目标检测工具，配置方式和常见的Faster R-CNN实现基本一致。数据格式直接转成COCO格式，每张图带一个annotations列表，每个annotation包含类别id和左上右下角坐标。这一步看起来不起眼，但坐标系的统一必须排在所有事之前——DICOM的坐标原点是图像左上角，COCO的边界框同样是从左上角开始算，但有的标注工具输出的是中心点加宽高的格式，转错一次就够你排查一整天。

预处理之后的图像尺寸，我建议固定在一个范围。项目里把短边统一到约800像素，长边不超过1333像素。这个尺寸下，左心室血池在输入图像里约占100像素左右，乳头肌大概是30像素以下的小目标，金字塔的低层特征才会有足够信息量。

4.2 配置文件中的关键参数逐项解读

配置里最值得关注的是anchor参数和正负样本阈值。

anchor_generator = dict( type='AnchorGenerator', scales=[8, 16, 32, 64, 128], ratios=[0.5, 1.0, 2.0], strides=[4, 8, 16, 32, 64], )

anchor的scales必须根据目标的真实像素尺寸来调整。默认scales在自然图像上没问题，但医学影像经过裁剪和重采样后，目标普遍偏小，如果scales从32起步，最小的乳头肌可能根本没有anchor覆盖。我把scales压到[8, 16, 32, 64, 128]，覆盖从十几像素的乳头肌到上百像素的心室腔。ratios用[0.5, 1.0, 2.0]，乳头肌的长条形态会被0.5的宽高比接住。

RPN正负样本阈值也是关键项。pos_iou_thr设为0.7，neg_iou_thr设为0.3，这个区间保证了进入RoI Head的候选框质量。RoI Head的pos_iou_thr用0.5即可，它的任务是精细分类，不需要像RPN那样苛刻。损失函数方面，分类用交叉熵，回归用Smooth L1，它对离群的大偏移不敏感，训练初期不会因为少数标注噪声导致梯度爆炸。

4.3 训练过程：从loss曲线到过拟合判断

训练超参数我按迁移学习的惯例来：SGD优化器，初始学习率0.001，动量为0.9，权重衰减0.0001，warmup 500个迭代，batch size设8。学习率太高会破坏预训练特征，太少又收敛太慢，0.001是一个在各领域都验证过的稳定值。如果数据量更小，可以降到0.0005。

训练时我主要盯三件事：RPN的loss下降是否平稳、RoI分类loss是否同步下降、验证集的mAP是否持续上升。它仨的走向基本一致时，模型在正常训练。出现过拟合的信号很典型：训练loss一直降，验证mAP却停滞或回调。这时候优先加数据增强强度而不是加正则化。我的经验是，在ROIHead的全连接层加一个dropout比全局weight decay更有效，因为过拟合主要发生在注意力机制把大量参数消耗在记忆个别训练样本上。

一个有用的细节：每训练200个迭代做一次验证可视化，把预测框画在原图上，直接看模型在样本上的行为。肉眼能看出它把心肌框画偏了、还是把乳头肌框重复输出了，这比任何指标曲线都更早暴露问题。

5. 定位失败排查：四种典型错误模式与完整处理链路

5.1 评估指标怎么设置才不骗自己

模型评估不能只看一个mAP。mAP@0.5太宽松，很多偏移明显的框也能算正检；mAP@0.5:0.95又过于苛刻，医学影像的标注本身存在几个像素的主观误差，卡得太死会把标注噪声也算成模型错误。我实际看三个指标：mAP@0.5、mAP@0.75，以及各类别的AP。

额外加了一个更贴近临床语义的指标：框中心点距离误差小于5像素的比例。这个指标对边界框的边缘不敏感，直接反映模型对一个结构“位置判断”的准确性。心室腔和乳头肌的定位中心差5个像素，对后续测量影响是四级和五级的差别。也能帮我把问题定性：mAP低但中心误差小，说明是框的尺寸不够准；中心误差大，那是位置理解本身有问题，两者排查方向完全不同。

5.2 小结构漏检：从可视化到anchor参数调整

乳头肌漏检是排查最多的失败类型。完整的排查链路如下。

第一步，可视化验证。把测试集里漏检的样本一张张打出来，看是“该位置完全没有高置信框”还是“有框但置信度被压得很低”。前者指向正样本生成环节的问题，后者指向NMS或分类问题。

第二步，统计正样本数量。我在训练集里统计了每张图、每类结构对应的anchor匹配情况，发现乳头肌类别能匹配上正样本的anchor数量比其他类少一个数量级。原因有两个：乳头肌本身面积小，能踩中的anchor比例低；训练集里乳头肌出现频次也低，正样本进一步稀疏。

第三步，参数调整。把anchor scales下调，引入更小的基础尺寸；同时把包含乳头肌的样本复制几份放进训练集，这个简单的过采样操作就能显著增加正样本比例。第四步，如果仍然漏检，再检查NMS阈值。过低会导致小框被邻近的大框压制，适当调高NMS的iou阈值，让小结构有机会保留下来。

这一步一步走下来，乳头肌的AP有了明显改善，而改动其实都很小，没有换模型。

5.3 心室腔框整体偏移：标注系统偏差的修正

心室腔的框经常出现整体往某一侧偏移2到4个像素的问题。一开始我以为是模型回归没学到位，后来排查发现根子在标注规范。

具体表现是：心室腔框的中心点整体偏高，很多标注者习惯把心内膜边界稍微多框出一点，导致框的上边界“发虚”。统计训练集标注框中心点的分布后，发现所有人都在同一个方向上产生了系统性偏差。这类问题改模型参数没用，因为模型学到的正是这种有偏的标注模式。我的处理方法是把标注规范重新定严，强调“框边界要尽量贴合实际可观察到的结构边界，不要为了‘保险’多留边界”，然后对分歧大的样本重新标注。少量重新标注带来的提升，比继续跑10个epoch的训练更明显。

5.4 用解剖先验做后处理：简单规则救回明显错位

当检测结果明显违反解剖常识时，我用一个轻量后处理步骤去修正，而不是硬调模型。核心规则有两条：乳头肌的框中心必须在左心室血池框内部；心肌框必须包含左心室血池框。违反这些规则的预测结果，要么剔除，要么调整到满足约束。

def refine_by_anatomy(preds): lv_box = get_box(preds, class_id="lv") myo_box = get_box(preds, class_id="myocardium") pap_boxes = get_boxes(preds, class_id=["pap_ant", "pap_post"]) # 规则一：心肌框必须包含血池框 if myo_box is not None and lv_box is not None: if not contains(myo_box, lv_box): preds = remove(preds, myo_box) # 规则二：乳头肌中心必须在血池框内 for p in pap_boxes: if lv_box is not None and not contains_point(lv_box, p.center): preds = remove(preds, p) return preds

这个后处理的定位不是刷指标，而是做安全网。医学影像AI的输出会被医生看到，一个明显不合解剖常识的检测结果会直接影响医生对系统整体可靠性的判断。几条简单规则能把这类可见错误清掉大半，代价却几乎为零。

6. 后续扩展：从单帧框定位到分割、序列与交互

6.1 检测框作为分割网络的锚点

检测框跑稳之后最自然的扩展，是把它当成分割网络的锚点。对检测框裁剪出的ROI区域单独做分割，比直接在整张图上做分割要轻松得多：分割网络不需要去区分“这到底是血池还是右心室”，只需要在给定的区域内把两个标签的边界划清楚。我在项目实验里验证过这个思路，检测框作为ROI约束后，分割网络在小结构上的表现明显稳定，训练所需epoch也大幅减少。

6.2 层间与时间维度的先验引入

短轴切面的层面位置（基底、中间、心尖）决定了结构组合方式，这一先验还没被利用。可以做一个小幅的层面分类前置模型，先判断当前帧属于哪个层面，再把层面信息拼进检测头的特征里，让模型知道“现在不会出现乳头肌”或“这个层面可能会有流出道”。多帧序列场景下，可以用目标关联或光流对帧间检测框做平滑，连续几帧位置突变明显就说明某帧出现了定位错误。

6.3 医生交互修正：让结果可用而不是完美

整个项目做下来，我最大的体会是：医学影像场景里，模型输出不完美的框没关系，但一定要能给医生“打下手”。检测结果作为初始标注，医生只需要做小幅拖拽修正，比从零开始画框快太多了。这套交互流程其实比追求无尽提升mAP更贴近真实需求。如果你的项目也卡在定位精度不够，建议先把手上的错误样本可视化，打印出来逐张分析，答案通常就在那些低置信度样本里，而不是在更复杂的模型结构里。