期刊：Transactions on Medical Imaging
年份：2024
英文题目：Clinically-Inspired Multi-Agent Transformers for Disease Trajectory Forecasting From Multimodal Data
中文译为：基于临床启发式多智能体 Transformer 的多模态疾病轨迹预测
一、摘要
现有医学 AI 更多关注：
患者现在患什么病、当前是什么等级？
但临床中更加重要的问题之一是：
未来疾病会怎样发展？
传统疾病预后模型往往需要复杂的人工特征或特定领域知识，同时也难以直接整合：
- 医学影像；
- 临床指标；
- 人口统计学信息；
- 其他生物标志物。
因此作者提出CLIMATv2，将疾病轨迹预测建模为一种one-to-many prediction：
当前多模态数据→未来多个时间点疾病状态
CLIMATv2受到临床诊疗流程启发，设置了多个 Transformer“智能体”：
- Radiologist Block：分析医学影像；
- Context Block：分析临床变量；
- General Practitioner Block：综合上述信息预测疾病未来轨迹。
另外，作者提出新的CLUB Loss，不仅优化预测准确率，还改善模型预测概率的校准性（Calibration）。
论文分别在膝骨关节炎 OAI 数据集和阿尔茨海默病 ADNI 数据集上进行验证，结果优于多种 RNN 和 Transformer 基线。
二、创新点
创新点一： 模拟真实临床多角色决策流程
论文最大的思想创新是，不直接把所有数据简单拼起来。
而是模拟：放射科医生→临床医生 的工作流程。
Radiologist 先读取影像并形成“视觉描述”，General Practitioner 再结合这些影像信息和患者临床变量预测疾病未来变化。
因此它本质上属于一种： Clinically-Inspired Multi-Agent Learning
创新点二：多模态 Transformer 疾病轨迹预测
模型能够同时处理：
- 2D X-ray；
- 3D FDG-PET；
- 数值型临床变量；
- 类别型临床变量；
- 影像测量指标。
并一次性预测未来多个时间点，而不是只预测某一个时间点的疾病进展。
创新点三：CLIMATv2 改进诊断与预后之间的信息一致性
相比 CLIMATv1，CLIMATv2 不再假设：
临床变量⊥当前疾病诊断
而是让Radiologist 和 General Practitioner 都进行当前疾病诊断，并通过一致性损失约束两者预测。这样模型更加符合真实临床场景。
创新点四：提出 CLUB Loss
作者提出：Calibrated Loss based on Upper Bound（CLUB）
- 不仅希望模型： 预测准确
- 还希望： 预测概率可信
例如模型说某患者未来 OA 恶化概率是 90%，这个“90%”本身也应该具有较高可靠性。
因此 CLUB 同时考虑： Performance + Calibration这是该论文的重要方法创新
三、方法
3.1 Overall：临床启发的多智能体框架
CLIMATv2模拟临床中的两个核心角色。
首先：Medical Image→Radiologist
Radiologist分析影像，得到：
- 当前疾病诊断；
- Visual Description。
然后： Visual Description+Clinical Variables→General Practitioner
最终预测： y0,y1,⋯,yT，即当前和未来多个时间点的疾病状态。
技术实现上实际上包含三个 Transformer Block：
- R: Radiologist
- C: Context P:
- General Practitioner
3.2 Multimodal Feature Extraction
不同类型的数据首先使用不同编码器提取特征。
2D影像：例如膝关节 X-ray：
- X−ray→2D CNN
- 论文实验使用ResNet18。
3D影像：例如 AD 的 FDG-PET：
- PET→3D CNN
- 采用3D-ShuffleNet2。
临床变量：
例如：
- Age；
- Sex；
- BMI；
- WOMAC；
- Injury history；
- Surgery history。
通过 FFN 映射到统一特征空间。
因此：不同模态→统一Embedding
3.3 Radiologist Module
Radiologist Block 专门负责影像信息分析。
CNN 提取出来的多个视觉特征：
输入 Radiologist Transformer。
经过 Self-Attention 后得到：
作者将这些特征理解成类似：
Radiology Report / Visual Description
即放射科医生从影像中提取出的疾病描述。
同时，对进行 Average Pooling，再通过 FFN预测：
，即当前疾病状态。
因此 Radiologist 模块承担两个功能： 影像表征+当前诊断
3.4 Context Module
Context Block负责处理：Clinical Variables
例如在 KOA 中：
- Age；
- Sex；
- BMI；
- WOMAC；
- Injury；
- Surgery。
这些临床变量首先编码为多个 Embedding，然后输入 Context Transformer。
最终提取一个：
作为所有临床变量的综合 Context Token。
简单来说：
Radiologist负责看片，Context负责理解患者背景。
4.5 General Practitioner Module
这是最终的疾病轨迹预测模块。
- 首先将 Context Token：
- 复制并与 Radiologist 输出的视觉特征：
- 在特征通道维度进行拼接。
于是每个视觉 Token 同时包含： Imaging Information+Clinical Context
然后送入 General Practitioner Transformer。
最终使用不同的 [CLS] Token 对应不同时间点：
因此一次前向传播就可以得到：
当前状态 + 多个未来时间点状态
这也是论文所谓的one-to-many disease trajectory forecasting。
3.6 CLUB Loss 与一致性约束
最终训练损失主要包括两部分。
疾病轨迹预测损失作者提出 CLUB：
其中 τ 是可学习的任务权重。
不同时间点的预测难度不同，因此模型可以自动调整不同时间任务的学习强度。
同时 CLUB 还帮助改善模型的 Calibration。
Agent Consistency Loss
Radiologist预测当前疾病状态：
General Practitioner同样预测当前状态：
作者要求：
从而得到：
最终：
因此模型既学习：
未来轨迹预测
又保证：
Radiologist 与 General Practitioner 当前诊断保持一致。
四、试验
4.1 数据集
论文用了两个完全不同的疾病数据集。
OAI：膝骨关节炎
来自：Osteoarthritis Initiative
原始包含： 4796名受试者。
输入包括：
影像
- Knee X-ray。
临床变量
- Age；
- Sex；
- BMI；
- WOMAC；
- Injury；
- Surgery。
预测多个未来时间点的 OA 结构变化。
ADNI：阿尔茨海默病
使用： ADNI
数据包括：
- 3D FDG-PET；
- MRI measurements；
- Cognitive tests；
- Clinical history；
- Risk factors。
预测未来： 1, 2, 4 years
患者的临床状态： CN, MCI, AD
4.2 KOA 预测任务
KOA并不只预测 KL。
论文共研究7个结构性指标：
- KL：Kellgren-Lawrence Grade。
- JSL / JSM：外侧 / 内侧 Joint Space Narrowing。
- OSFL / OSFM：股骨外侧 / 内侧骨赘。
- OSTL / OSTM：胫骨外侧 / 内侧骨赘。
因此模型预测的是：
- OA多个结构指标随时间的变化
- 而不是单纯预测 KL。
4.3 结果
论文与多种序列和 Transformer 方法进行了比较：
- FCN；
- GRU；
- LSTM；
- MMTF；
- Reformer；
- Informer；
- Autoformer；
- CLIMATv1；
- CLIMATv2。
评价指标包括：Balanced Accuracy（BA）评价预测性能。
ECE Expected Calibration Error，用于评价概率预测是否可信。
AD任务额外采用：mROC-AUC。
五、结论
这篇论文的核心思想实际上非常直观：
传统方法是：所有数据→一个网络→未来预测
而 CLIMATv2 模拟真实临床决策过程： 医学影像→Radiologist→Visual Report
然后： Visual Report+Clinical Context→General Practitioner→Disease Trajectory
即把临床工作流程本身作为模型结构先验。
同时利用多 [CLS] Token 实现多个未来时间点预测，并利用 CLUB Loss 兼顾准确性与概率校准性。
实验在OAI膝骨关节炎和ADNI阿尔茨海默病两个完全不同的疾病场景中验证了其有效性，说明这种“临床启发式多智能体 + 多模态 Transformer”的疾病轨迹预测方法具有较好的通用性。
