医学影像与病程融合的时序预测：从数据到模型全指南

结合历史影像与病程做时序预测，是我这两年被临床团队问得最多的一类医学AI问题。复查场景和单次检查不一样：手头不只有一张片子，还有前几次复查的历史影像、每次随访的检验指标、症状描述和用药记录，这些数据天然带着时间标签。临床上真正想看的往往是预测——下次复查病灶有没有可能增大、术后一年内会不会复发、肿瘤缩小后影不影响生存期。把这些信息放在同一套时序框架里建模，就是复查场景下的时序预测。

这事儿不是堆一个图像分类模型就能完成的。只看单张片子，模型很难知道病灶变化方向；只读病程记录，模型又完全无视形态学的细微变化。真正可靠的做法，是把历史影像作为视觉证据链，把病程信息作为临床上下文，用序列建模的方式一起预测未来的状态。下面内容主要面向做医学影像算法、医疗数仓和AI落地的同学，我会从数据整理、模型设计、端到端实现、踩坑四个角度展开，尽量给到可以直接在项目里参考复用的方案。

1. 复查场景下的时序预测，难在理解问题

1.1 为什么单次影像模型在复查场景里不好使

很多团队一开始会把复查预测当成普通的图像分类来做：拿最新一次CT的某个切面或者三维patch，训练一个模型去判断“进展/稳定/缓解”。说实话，这种模型在单独一张图上的分类准确率可能挺高，放到真实随访数据里面往往被医生一票否决。原因很简单：医生自己看复查图像的时候，几乎一定会翻出上一次甚至上几次的影像做对比，看的是“变化”——结节是不是变大了、密度是不是升高了、边缘是不是从光滑变成毛糙了、增强期的强化程度有没有改变。这些信息单靠一张图是拿不到的。

影像诊断里很多标准本身就是纵向比较的结果。肿瘤领域常用的RECIST评估，核心就是对比两次测量的径线总和变化；前列腺的PI-RADS、肝脏的LI-RADS也都要结合既往影像变化来定级。单时点模型只能学到静态表观特征，它对“这个病灶目前长成什么样”有感知，但对“这个病灶正处在什么变化趋势上”无能为力。

我举一个很典型的例子：一个磨玻璃结节，第一次复查2cm，第二次稳定在2cm，第三次突然缩小到1cm，第四次又回到1.8cm。如果只看第四次图像，模型很可能认为风险不高；但从序列角度看，这种“缩小之后再反弹”恰恰是需要警惕的模式。没有时序信息，模型永远识别不了这类轨迹。所以在复盘这类项目时，我通常要求算法先把业务流程弄清楚：医生说的“复查”，本质上是“前后对照”。

1.2 医学时序数据和我们熟悉的时序数据不太一样

做推荐、做NLP的同学对时间序列都不陌生，但医学随访数据有一堆反常识的属性，直接搬常规做法会踩坑。

第一是序列长度小且不固定。一个病人的影像随访点往往只有2到5个，有的只有初诊加一次复查，很难套用需要长序列的模型结构。第二是时间间隔不均匀。有人老老实实3个月复查，有人半年才来一次，还有人中途转院、断档一两年。如果只按“第几次检查”编码，模型会漏掉一个重要信号——间隔天数本身可能就和病情急缓相关。第三是事件定义主观。什么叫“进展”，不同影像科医生的尺度不完全一致，标注噪声比普通分类任务大得多。第四是存在右删失。很多病人在观察期内没有发生目标事件，不等同于安全，只是还没观察到而已。

这些特殊性意味着我们不能简单地把每次复查当作一个step塞进LSTM，而是要显式建模“距上次检查/距确诊的天数间隔”，同时把短序列、弱标注、删失这些因素全考虑进去。模型结构可以复杂，但千万别忽略底层数据的这些“脾气”。

1.3 动手前先把预测任务精确到一句话

我发现很多项目翻车不是因为模型不行，而是任务定义模棱两可。所谓“预测复发”，到底是预测“未来某天复发”还是“未来6个月内复发”？“进展”用的是RECIST还是医生主观判断？观察窗口从哪个时间点开始？这些不定清楚，后面所有标签、指标、数据划分全是糊涂账。

在做数据准备之前，我强烈建议团队把任务浓缩成一句话。比如我最近在一个随访项目里用的定义是：“以本次复查时间为锚点，输入该患者最近至多4个时间点的影像和同期病程信息，预测未来6个月内是否发生影像学进展”。锚点、观察窗口、预测窗口、事件定义全部在一个句子里锁死。这看起来是个小动作，实际上能省掉后面无数沟通成本。

2. 数据准备：把历史影像和病程整理成模型能吃的时间序列

2.1 影像序列怎么构建才靠谱

影像不是普通图片，处理细节直接影响模型能不能学到东西。我拿到一组随访CT，第一件事是统一预处理：先把DICOM解析出来，按序列号、检查日期排序，保证每个病人拿到的是“按时间排列的多次检查”。接着要做体素级对齐。不同时间点的扫描可能层厚、重建算法、扫描范围都不一样，直接用原始体素喂网络，模型很容易把“扫描方式差异”当成“病灶变化”。

实操上我建议先做分辨率重采样，把不同检查统一到各向同性空间，比如1.0mm×1.0mm×1.0mm；再做刚性或可形变配准，让前后两次的解剖结构尽量对齐。配准之后，以目标病灶为中心裁剪出固定大小的三维patch。固定窗宽窗位也很重要，比如CT用窗位40、窗宽400的软组织窗，确保影像灰度在不同检查间可比。这些步骤不做，模型性能会明显缩水，而且你很难判断缩水是算法问题还是数据问题。

时间点数量怎么选？我一般取最近4个时间点，超过就截断，不足就在前面补空。序列越短，补空越多，模型学到的东西越少，但也不能为了凑数量把很久以前、基线处理方式完全不同的检查也拉进来。对绝大多数随访场景，4个时间点的信息已经足够捕捉变化趋势，同时不至于因为序列过长导致训练数据稀疏。

2.2 病程信息结构化：把病历变成带时间戳的变量

影像只是线索的一部分，实实在在的病程信息往往比图像更“好用”，但也更容易出错。复查场景下，我通常会从电子病历里抽几类信息：人口学基线（年龄、性别、病史），关键事件时间（确诊日期、手术日期、放疗开始/结束日期），检验指标（血常规、肿瘤标志物、炎症指标等），以及用药记录。抽取出来后，每条记录都带时间戳。

这里最容易被忽视的是对齐规则。影像检查和抽血化验往往不在同一天，直接拿当天指标容易大量缺失。我的做法是：对每个影像时间点，向前取最近一次检验值；如果超过一定时间范围，比如30天，就标记为缺失。然后显式构造“距离上次影像的时间差”“距离确诊的时间差”这类间隔特征，它们本身就是强预测信号。缺失值不用乱填，模型里可以加一个“是否缺失”的mask向量，让网络自己学怎么处理。

还要强调一点：数据预处理阶段千万不能使用未来信息。归一化用的均值和方差只能从训练集时间点之前的信息计算，不能拿整个数据集的全局统计量，否则会引入时间穿越。这是复查类项目里最隐蔽又最致命的错误。

2.3 三种样本构造方式，决定你是“单模型”还是“真时序”

样本怎么构造，往往比模型结构更影响结果。我常用三种方式，按推荐程度排序。

第一种是“一个患者-一个样本”：在某个固定锚点（比如术后第一次复查）提取历史信息，预测未来事件。简单干净，但数据利用率低，患者数量不多时样本不够。

第二种是“一个患者-多个锚点”：把每次随访都当做一个锚点，用该锚点之前的信息预测锚点之后的事件。比如某个患者有4次随访，就能造出3个样本：t1预测t2后事件，t2预测t3后事件，t3预测t4后事件。这种方式能大幅增加样本量，也符合临床反复评估的习惯。但注意，同一个患者的多个样本高度相关，训练验证时绝不能按样本随机划分，必须按患者分组，否则会严重高估指标。

第三种是“滑动窗口多模态片段”：类似BERT的做法，把多次影像+病程信息组织成一个token序列，在时间轴上随机mask一部分，做自监督预训练。这个适合数据量很大的场景，起步项目暂时不用上。

我用第二种最多。它既能充分利用有限的随访数据，又天然解决了“短序列”问题——每个样本依然只包含几个时间点，但患者数量被放大到随访次数。

3. 模型怎么设计：影像特征和病程信息融合不是简单拼接

3.1 三种主流的融合路径，先跑基线再谈复杂结构

在这个领域，常见的模型设计大致分三条路，我直接列个表对比。

我的建议是，新项目直接上第二条路作为基线。它结构清晰、对短序列友好，而且能从机制上学习“前后影像的变化”。第一条路当然更快，但它本质上还是静态特征，容易把时序问题变回分类问题。第三条路不是不行，而是应该在基线跑通、确认数据质量之后再去尝试，否则你会被巨大的调参成本拖垮。

3.2 一个足够当基线的结构：影像Backbone + 时序Transformer

我常用的一套基线长这样。影像编码器用医学图像预训练的3D Vision Transformer或3D ResNet，对每个时间点的三维patch提取一个特征向量。为了控制计算量，patch分辨率一般取128×128×64或96×96×96，按项目数据情况调整。把每个时间点的特征向量作为token，加上两个东西：一个是时间间隔embedding，用于编码“距上次检查多少天”，另一个是可学习的位置编码，表示“这是第几次检查”。

病程信息怎么进？我会把锚点时间点的检验指标、是否用药、距离关键事件天数等变量，经过一个标准化层和一个共享的MLP，压缩成一个小向量，作为额外的token拼进序列。这样Transformer既能看到“影像变化序列”，也能看到“临床状态上下文”。最后用序列末端的[CLS]token或者平均池化接分类头。

几个关键参数我给一下参考值，都是项目里实际用过、效果相对稳的：Transformer层数2到4层就够了，随访序列短，堆太深反而容易过拟合；多头注意力头数4到8；dropout在0.1到0.3之间；影像backbone只训后面几层，前几层冻结，防止数据量不够时把预训练权重冲坏。这些不是死参数，但作为起点足够靠谱。

3.3 损失函数和评估指标：别只盯准确率

分类任务我一般用带focal loss的交叉熵，尤其当正样本占比低于30%的时候，focal loss能明显减少“全都预测为阴性”的偷懒行为。如果任务本质是生存分析，比如预测“复发时间”，我会把输出改成离散时间风险概率，用Cox部分似然或者基于时间分桶的交叉熵损失。

评估指标比损失函数更影响项目验收。我几乎不看整体准确率，重点看两个：一个是时间相关AUC，比如用time-dependent AUC评估“在某个预测时间窗口内，模型风险排序是否可靠”；另一个是校准曲线，看预测概率和真实事件率是否一致。模型分数高但校准差，在临床上很难用，因为医生需要的是一个可以解释的“概率”而不是一个黑盒排序。对分类任务报告混淆矩阵、敏感度和特异度也必不可少，毕竟漏诊和误诊的代价完全不一样。

4. 端到端实操复盘：从数据到模型的一个可落地流程

4.1 实验配置和预处理环节

拿我最近在跑的肺结节随访复盘项目举例说明。数据是一批脱敏随访CT，共几百例，每个病例平均3.8个时间点。任务定义成：以每次复查为锚点，用最近4个时间点的影像和病程信息，预测未来6个月内是否发生影像学进展。阳性事件定义采用影像科标注的“明确增大”或“新发实性成分”，并排除观察期内失访病例。

预处理我按下面这套来：CT统一重采样到1.0mm各向同性，窗宽400、窗位40，以病灶中心裁剪成96×96×64的patch；序列按AM/PM顺序排列，超过4个时间点截断。病程信息包括年龄、性别、影像报告里的直径测量值、若干检验指标和距离上次影像的天数。所有连续变量按训练集统计做标准化，开一个配置文件把每个预处理参数都记录下来，方便复现和回溯。

4.2 核心代码骨架

为了照顾不同基础的同学，我把Dataset和模型结构拆开给一段精简版本。数据加载部分最关键的点是：不能随机采样某一个时间点，而是要保持患者序列完整。

import torch from torch.utils.data import Dataset class MultiTimepointDataset(Dataset): def __init__(self, records, transform): """ records: list of dict 每个dict包含: images: 按时间排序的CT patch列表 labs: 每个时间点对齐的病程特征 intervals: 距上次检查的天数 label: 未来6个月是否进展 """ self.records = records self.transform = transform def __len__(self): return len(self.records) def __getitem__(self, idx): rec = self.records[idx] images = rec["images"][-4:] # 取最近4个时间点 labs = rec["labs"][-4:] intervals = rec["intervals"][-4:] # 序列不足4个时间点时，在前面补零并记录mask seq_len = len(images) if seq_len < 4: pad = 4 - seq_len images = [torch.zeros_like(images[0])] * pad + images labs = [torch.zeros_like(labs[0])] * pad + labs intervals = [0.0] * pad + intervals valid_mask = [0] * pad + [1] * seq_len else: valid_mask = [1] * 4 images = torch.stack([self.transform(img) for img in images]) # [4, C, D, H, W] labs = torch.stack(labs) # [4, lab_dim] intervals = torch.tensor(intervals, dtype=torch.float32) # [4] valid_mask = torch.tensor(valid_mask, dtype=torch.float32) # [4] label = torch.tensor(rec["label"], dtype=torch.float32) return images, labs, intervals, valid_mask, label

模型部分我直接用一个简单的时序Transformer封装，若干超参放在配置里。这里有个细节：位置编码用的是可学习参数，而不像文本模型里常用正弦位置编码，因为随访序列长度极短且不固定，可学习编码更灵活。

import torch.nn as nn class TemporalFusionModel(nn.Module): def __init__(self, image_token_dim=256, lab_dim=32, num_heads=4, dropout=0.2): super().__init__() self.image_proj = nn.Linear(image_token_dim, image_token_dim) self.lab_proj = nn.Linear(lab_dim, image_token_dim) self.interval_proj = nn.Linear(1, image_token_dim) self.pos_embed = nn.Parameter(torch.randn(1, 4, image_token_dim)) encoder_layer = nn.TransformerEncoderLayer( d_model=image_token_dim, nhead=num_heads, dim_feedforward=image_token_dim * 4, dropout=dropout, batch_first=True, ) self.transformer = nn.TransformerEncoder(encoder_layer, num_layers=2) self.classifier = nn.Sequential( nn.LayerNorm(image_token_dim), nn.Linear(image_token_dim, 1), ) def forward(self, images, labs, intervals, valid_mask): # images: [B, 4, C, D, H, W] B = images.size(0) img_feat = self.image_backbone(images) # 这里接外部影像backbone tokens = self.image_proj(img_feat) # [B, 4, D] lab_tokens = self.lab_proj(labs) # [B, 4, D] interval_tokens = self.interval_proj(intervals.unsqueeze(-1)) tokens = tokens + lab_tokens + interval_tokens tokens = tokens + self.pos_embed # 用valid_mask把补齐位置的token盖掉 mask = valid_mask.unsqueeze(-1).to(tokens.dtype) tokens = tokens * mask # Transformer内部需要key_padding_mask，这里简化为bool mask key_padding_mask = (valid_mask == 0) # [B, 4] out = self.transformer(tokens, src_key_padding_mask=key_padding_mask) out = out[:, -1, :] # 取最后一个真实位置 return self.classifier(out)

如果直接用3D ViT作backbone，想偷懒可以换个做法：去掉TransformerEncoder，直接用“影像特征向量序列”过一层self-attention后再回归；但我个人觉得上面这个结构已经足够简单，而且容易扩展成生存分析。实际项目里最关键的不是追求结构惊艳，而是保证每个时间点的输入维度一致、mask处理正确。

4.3 结果怎么看、坏case怎么分析

我用这套基线在内部验证集上跑出的结果大致是：时间相关AUC在0.78到0.85之间，具体数值跟疾病类型和样本量关系很大。比起单纯的“准确率”，我更关注坏case。举个例子，有一类病例病灶体积是缩小的，但模型给出了“进展”的高风险分，一开始我以为是模型错了。后来把病程信息调出来一看，这些患者往往有新的免疫组化标记异常或者临床症状加重。换句话说，影像形态没有恶化，但系统性的病程信号已经指向更差的方向。这类“影像与病程不一致”的case，恰恰是这个方向最有价值的产出。

因此我几乎从不让模型直接上线交付。每一轮训练完，我会把预测错误的样本按置信度排序，和影像科医生一起过。模型的定量指标只能告诉你“行不行”，和医生一起看case才能告诉你“为什么不行”。

5. 踩坑实录与上线前的自查清单

5.1 三个让我印象深刻的坑

第一个坑是时间穿越，几乎每个新人都踩。最常见的表现是：为了省事，直接对全部数据做标准化，把验证集和测试集的统计信息混进来了；或者样本构造时，用了锚点之后的影像信息。有个很隐蔽的变体：同一个患者既出现在训练集又出现在验证集，模型其实只是在“背”这个患者的整体特征。按患者分组划分后，测试指标可能直接从0.9掉到0.7，这种教训意味着所有后续实验都建立在诚实的数据划分上。

第二个坑是样本不均衡。复查随访任务里，“进展”事件往往只占20%上下，模型很容易被带偏成“大部分预测为稳定”。我除了用focal loss外，还会在训练时做正样本过采样，但不会把比例拉到完全均衡，那样会破坏先验概率，推理时概率校准会变差。

第三个坑是影像配准带来的幻觉。配准过度可能把病灶周围正常组织扭曲成“变化”，反而引入噪声。我后来在预处理里设置了刚性配准为主、只用可选形变配准的保守策略，效果更稳定。这类问题不跑到真实数据上很难提前发现，只能通过消融实验去确认配准到底是在帮忙还是帮倒忙。

5.2 问题排查速查表

遇到性能不对时，别急着换模型结构，先按下面的顺序过一遍。

5.3 上线前我会死磕的几个细节

模型做出来只是一半，剩下的一半全在部署和数据质量上。推理阶段必须保证输入和训练时一样：同一个窗宽窗位、同一个分辨率、同一个裁剪方式。病历结构化字段在线上可能缺失，我一般会在模型外挂一层回退逻辑——缺哪个字段就把哪个字段置为“缺失状态”，而不是乱填一个默认值。

还需要设置模型预测分布漂移监控。医学影像设备和扫描协议变了，模型很可能悄悄失效。最粗的监控方式是每天或者每周统计线上预测概率分布，如果分布均值或方差出现明显偏移，就触发人工复核。这个机制比任何模型版本管理更保命。

另外一个容易被忽略的点是：模型部署后不是终点，而是新一轮数据闭环的开始。每过一段时间，我会把临床反馈的新结局记录整理进训练集，做增量训练。复查场景的标签天然是滞后的——今天的复查数据，可能三个月后才能确认最终结局，所以模型版本迭代需要和临床随访节奏对齐，不能盲目追求“越新越好”。

6. 对我来说最有价值的一课

复盘这类“影像+病程”时序预测项目，我最深的体会是：决定项目成败的往往不是模型结构，而是数据工程和任务定义。我见过太多团队一上来就套用多模态SOTA，最后卡在配准、时间对齐、标注一致性这些“不性感”的环节上。如果让我再来一次，我会第一时间和影像科医生约定一个清晰的结局判读标准，把所有随访节点的时间戳和关键变量先拉出来对齐，再进入建模。这个方向还远没到“一招通吃”的阶段，但把数据做扎实、把评估定义清楚，至少能让每一步都踩在实地上。最后再分享一个小技巧：每周固定时间和影像科医生过一轮预测错误的case，比任何调参手段都提效。