RadLLM：放射学大模型基准测试，医学影像AI的临床实用卡尺

先说一个我遇到的真实场景。几个月前，我正帮某三甲医院放射科做多模态大模型的选型评估，分别拿三个模型去跑一批胸部CT片子的“写报告”任务。结果很有意思：模型A的生成文本流畅度极高，句子读起来几乎和主治医师写的没差；模型B的文本粗糙，但关键病灶的定位和描述意外地准；模型C则时而聪明时而“失忆”，对同一张片子隔十分钟跑两次，结论能不一样。三方各执一词，负责评估的同事问我：“到底哪个能用？”

我答不上来，因为手头没有任何一把“卡尺”能同时对它们测出可比较、可复现、贴近临床语义的分数。这是我后来专门去研究放射学领域大模型基准测试（即标题中的RadLLM）的起点。坦白讲，通用benchmark能告诉你模型“聪明不聪明”，但RadLLM这类面向放射学的医疗基准，才能告诉你模型“能不能在影像科干活”。如果你也在做医学影像AI、医疗大模型应用落地，或者只是好奇“大模型在放射科到底有几斤几两”，这篇文章值得看完。

1. 放射科大模型最缺的不是模型，是一把靠谱的“卡尺”

1.1 通用基准为什么在放射学场景里失灵

先别急着跑测试。你要先理解一个反直觉的结论：越通用的性能指标，在专业垂直领域越容易被“高分低能”欺骗。

市面上的通用大模型评测体系，考的是开放域问答、代码生成、数学推理、百科知识这类东西。模型答得上来“肺结节通常和哪些影像特征相关”，不代表它能在真实的胸部X光片上找出那个藏在肋骨后方的微小磨玻璃结节。前者是知识记忆，后者是感知加推理加表达的综合能力，两者关系不大。

我见过不止一次这样的翻车现场：一个在通用视觉问答榜单上排名很靠前的多模态模型，给它一张带有少量胸腔积液的侧位胸片，它给出的报告是“心肺膈未见明确异常”。句子通顺、结构完整，但在放射科医生的眼里这就是严重的漏诊。通用基准没有惩罚这种“礼貌的沉默”，甚至会因为它措辞专业给高分。这就是系统性失灵：它评估的语言流畅度，而不是临床正确性。

放射学本身有一套高度结构化的认知框架。阅片要判断的从来不是“这张图是什么”，而是：异常是否存在、部位在哪、形态怎么描述、和旧片比有没有变化、严重程度分级、建议下一步做什么。通用基准里面的“看图问答”，几乎不会追问到这个颗粒度。加上报告文本是半结构化叙述体，既有固定套话又有自由描述，通用指标很难捕捉其中的语义重点。

1.2 RadLLM想补上的是哪块拼图

RadLLM这类基准测试的设计初衷，就是在通用评测之外单独划出一块“放射学专用赛道”。它不是要把大模型考倒，而是试图回答三个非常务实的问题：

• 第一，模型生成的影像报告，在专业语义上和放射科医生写的有几分接近？
• 第二，模型能不能准确完成放射学里的细粒度任务，比如区分左右肺野、识别异常是“存在”还是“不存在”、判断病灶是不是比上次增大了？
• 第三，不同模型放在同一批高质量、经过专家验证的影像数据上，谁的诊断准确性更好？谁更稳定？

我知道很多人会觉得，这不过是“做一个专科benchmark”，听着没什么技术含量。但真正动手做过才知道，这件事的复杂度不亚于训练一个模型本身。和通用benchmark不一样的是，放射学基准的构建绕不开数据隐私、影像采集设备的多样性、专家标注的主观差异、甚至不同地区放射科书写习惯的差异。这些在通用评测里几乎不用考虑的问题，在RadLLM里全是决定生死的主战场。

也正因为如此，它的价值不在于给模型“排名”，而在于让所有做医学大模型的人终于能站在同一套规则下对话。

2. 先看清RadLLM的测试范围：从报告生成到影像判读

2.1 任务矩阵的设计逻辑

想读懂任何一份评测结果，第一步是先看它的“考卷结构”。不然你可能只看到一张总榜单，却不知道某个模型的高分到底是从哪个任务上挣来的。

RadLLM这类基准测试的任务矩阵，通常围绕放射科日常阅片流程来设计。我自己在使用和复现的时候，更愿意把它拆成两大块：文本侧任务和影像侧任务。文本侧考的是模型对影像所见内容的组织与表达能力；影像侧考的是模型从像素到语义的感知能力。

我梳理了一份常见的任务类型表，方便你和自己的需求对照：

这个矩阵并不是随随便便排列的。仔细看你会发现，它的设计逻辑是从“会说”到“会看”再到“会判断”，层层递进。如果一个模型只会生成漂亮的报告模板套话，那它在第一类任务里可能拿高分，但到病灶定位和前后片对比这两类任务上会立刻露出马脚。

我实际跑下来最大的感受是：任务矩阵比总分更有参考价值。有些模型在“自由文本报告”上分数高得吓人，但“危急值识别”一塌糊涂。如果医院想用AI做报告草稿辅助，前者能省力；如果要拿AI做急诊预检分诊，后者就是红线。没有一个总分能告诉你这些，只有任务细分能。

2.2 文本侧与视觉侧如何协同打分

RadLLM里最有意思也是被讨论最多的设计，是它对“图文协同”的考查方式。我以前在别的评测里见过一种偷懒做法：模型光靠报告文本的语言先验就能蒙对不少题，因为它只要记住“这种病一般会这样描述”，根本不认真看图。RadLLM这类专业基准会刻意切断这条捷径。

具体怎么切？两个典型手段。第一，在部分影像样本上插入无关的伪影或拍摄噪声，把同一条报告文本对应到多张视觉信息差异很大的图片上，看模型是跟着视觉信息走还是跟着文本套话走。第二，做“图像—文本错配”测试，把A片的影像配给B片的历史检查描述，然后让模型判断描述是否和当前影像一致。

我在复现的时候，第一次看到模型在这个环节掉分，才真正意识到：一个只会“背报告”的模型和真正“看懂图像再写报告”的模型，分数差距可以有多大。有些在纯文本评测里表现优异的大模型，一到图文一致性测试就滑坡，说明它的视觉编码器根本没有参与实际的临床推理。

这部分的启示是：如果你在为自己的模型做评测，不要只给“看图写报告”这一种输入形式，务必加上错配、伪影、负样本这类对抗性设计。否则高分会给你虚假的安全感。

3. 构建放射学基准的真正难点：数据、标注与隐私

3.1 数据脱敏是基准的第一道关卡

这是所有做医学AI的人绕不开的硬骨头，RadLLM也不例外。放射学数据是典型的个人健康信息，一次胸片检查的DICOM文件里，不仅藏着图像本身，还有一大堆敏感元数据：患者姓名、检查号、机构编号、检查日期、甚至设备序列号。如果只抽出JPEG图片就以为万事大吉，那就大错特错了。

我自己构建评测样本时的做法，可以给你参考：

1. DICOM头信息清洗：写脚本遍历所有标签，把患者姓名、ID、机构名这些显性字段抹掉。但要小心，有的厂商会把患者信息写在私有标签甚至图片像素角落里，光靠常规工具擦不干净。
2. 像素级隐私扫描：用目标检测模型扫一遍图像，重点找残留在图像边角的屏幕截图文本、患者姓名水印之类。常见于部分历史胶片数字化扫描件。
3. 报告文本的PHI检测：影像报告里时间、年龄、检查编号都要保留还是替换，要提前定好规则。日期尤其容易漏，模型可能从“2021年3月5日”这种时间标记里反推出患者就诊轨迹。

这套流程听着繁琐，但没有它，基准数据连第一步都迈不出去。很多初学者为了省事直接下载网上现成的影像集合并开始跑评测，等到论文要发或产品要上架时再补隐私合规，那时候的返工成本高出好几倍。

3.2 金标准不是“专家说对”，而是“多数专家说对”

接下来是标注，这也是基准质量的生命线。普通AI评测的ground truth往往只有一个“标准答案”，但放射学不一样——同一张胸片，主任医师和年轻住院医师的描述详略和侧重点可能完全不同，但谁的都不能算错。如果基准只用一位专家的标注作为唯一答案，那天然带有个人偏见，模型在这个数据集上的分数就不公平。

采用的方法是多专家独立标注加仲裁机制。通常找至少两位放射科医生分别标注同一批影像，然后用Cohen's kappa这类一致性系数去衡量他们的共识程度。一致性特别高的样本直接纳入金标准；一致性一般的样本进入第二轮仲裁讨论，由第三位更资深的医生拍板；一致性过低的样本干脆踢出去——这类样本往往本身影像特征就模糊或伪影严重，保留它们只会增加噪声。

我印象很深的是，一批胸部CT纵隔窗样本里，三位专家对一个微小淋巴结是否属于“肿大”的判断出现了分歧。AI模型在这种边缘案例上的表现，恰恰是它临床可用性的试金石。RadLLM这类基准不是把这些争议样本剔除掉，而是会单独分组，标记为“争议集”——专门用来检验模型是否具备像人一样谨慎表达、不乱下结论的能力。一个敢说“不能排除，建议随访”的模型，比一个硬给结论的模型，在临床上更可靠。

3.3 类别平衡与难度分层

公开的放射学影像数据集有个通病：正常样本远远多于异常样本。肺炎、气胸这类有明显阳性表现的影像，在全量数据里可能只占几个百分点。如果直接拿原始分布去构建基准，模型随便学一句套话“未见明显异常”，就能在多数指标上拿到90%以上的准确率——这根本不叫评测，这叫放水。

处理办法是对异常类别做分层过采样，再刻意构造难度梯度。我自己习惯把题目分成三档：简单档是典型的、教科书级别的异常表现，用来测模型的基本功；中等档是角度偏移、曝光不当、多种异常并存的样本，用来测模型的鲁棒性；困难档是微小病灶、早期病变、或者被伪影干扰的边界案例，用来测模型的“火眼金睛”。

RadLLM这类基准测试如果只给你一个总准确率，你基本什么都判断不了。但把分数按难度分层拆开看，你会立刻发现哪些模型只有三板斧——常见病识别很不错，一遇到不典型表现就崩。这个“难度分层”的思路，后来也被我沿用到自己的算法回归测试里，效果出奇的好。

4. 跑完RadLLM我发现：多数AI指标在临床面前会撒谎

4.1 BLEU和ROUGE的高分陷阱

现在聊聊评测指标。这是最容易被忽略，但也是最容易出“幻觉高分”的环节。

BLEU和ROUGE是自然语言生成领域最常见的指标，前者看n-gram重合，后者看召回率。很多初做医疗文本生成的同学，拿它们当评判报告质量的金标准。我早年在做病历生成的时候也踩过这个坑，直到被一位资深前辈点醒：这些指标评估的是“用词像不像”，不是“诊断对不对”。

举个极端例子。标准参考报告写的是：“右肺上叶可见一大小约8mm的磨玻璃结节，边界清晰，建议随访。”某模型生成的是：“左肺下叶可见一大小约8mm的磨玻璃结节，边界清晰，建议随访。”——左右肺的位置写反了，这是放射学里性质最严重的错误之一。但用ROUGE-L去算，分数可能超过0.8，因为共用的词汇太多了，指标完全不理解“右肺上叶”和“左肺下叶”在解剖学上是天壤之别。

正确率从90%跌到50%，指标纹丝不动。这足以说明：对放射学报告评估来说，纯文本相似度指标只能作为辅助参考，绝不能当作筛选模型的依据。

4.2 诊断层面的指标才是底线

RadLLM这类专业基准的聪明之处，在于它会额外定义一套临床语义级别的评估指标。不是看词汇重合度，而是拆解报告里的关键语义要素，逐项核对：异常是否存在、所在解剖部位、异常类型、严重程度、左右方位、以及时间趋势（与旧片比较）。

我当时在自己内部的评测脚本里，测试模型生成报告时对这套语义指标做了逐项校验。具体流程是这样的：

1. 先让模型输出结构化报告，按预定义的字段填写“部位—异常—程度—建议”。
2. 把字段逐一拆出来，和专家标注的金标准比对。
3. 左右方位错误记严重错误，异常类型错误记主要错误，程度描述偏差记次要错误，各占不同权重。

跑完之后我彻底服气：一个BLEU分数很高的模型，在这套语义核对里因为“左右写反”“阴性阳性的否定关系搞错”，被打到不及格。语言生成能力可以拉满，但解剖方位错，就是错。

如果你自己在做医疗大模型，我强烈建议你至少把“存在性判断”“左右方位”“否定词识别”这三个语义维度拆出来单独计算F1。它们对应的正是临床上最不能出错的底线问题。

4.3 主观与客观的平衡：双人盲评机制

自动化指标再精细，也替代不了人类医生的直接判断。放射学报告里有些东西机器很难量化，比如“报告读起来是否顺”“结论是否会让临床医生产生误解”“是否在没把握的地方过度诊断”。这些只能靠专家打分。

我参与过的小范围盲评实验里，我们请两位高年资影像科医生，互相不知道对方打分，对一批AI生成的报告按四个维度评分：临床正确性、关键信息完整性、表述清晰度、是否存在过度诊断倾向。等两人评分交上来一对比，一致性大概只有七成左右。剩下三成，就是放射学这门“手艺活”的主观成分。

但这恰恰是有价值的。那些让两位专家都打低分的样本，代表绝对有问题；那些让专家意见严重分裂的样本，则说明模型把工具推到了边界。基准测试不怕主观，就怕只有一套单一维度的客观分数，因为它会掩盖掉模型在复杂真实世界里可能踩的雷。

5. 把这套基准搬回自己环境时的实操建议

5.1 复现RadLLM评测的硬件与工程注意点

说点实在的。RadLLM这类基准测试看着学术味很浓，但它终究要落到实际的GPU集群上跑。很多团队第一步就被卡住了，不是卡在模型上，而是卡在工程细节上。

以我自己的评测环境为例，模型池里有开源的7B/13B参数级视觉—语言模型，也有商用API模型。开源模型用单张或双张24GB以上的显卡就能跑推理，但如果想在短时间内批量完成几百条影像样本的评测，建议至少准备4张以上同型号显卡，并且用张量并行切分，否则排队时间会让你怀疑人生。商用API模型省了硬件，但要注意批处理配额和调用频率限制，不然测到一半被限流，日志都不好排查。

还有一个工程细节容易出事故：DICOM图像本身可能是12位或16位灰度深度的，喂给模型之前需要正确地做窗宽窗位调整，再做归一化或伪彩色映射。有些模型训练时用的是自然图像的三通道RGB，灰度影像直接复制到三个通道虽然能用，但如果窗宽窗位处理不当，病灶的对比度会被压没。同样的模型，同样的样本，不同的预处理，分数差距可能超过5个百分点。基准测试若不固定图像预处理管线，结果几乎不可比。

5.2 提示词与Few-shot样例会把结果吹歪

评测跑得多了你会发现一个细思极恐的现象：提示词的一部分“提示”是在帮模型，另一部分纯粹是模型性能波动放大器。我在同一份评测集上，只改了一个提示词里的角色设定，从“你是影像科医生”改成“你是对影像报告进行质量控制的资深专家”，同一个模型的输出风格立刻变化，结构化和术语使用都出现了系统性的偏移。模型分数变了，但模型的“医学能力”真的变了吗？没有，它只是在迎合提示词里的身份预设。

更麻烦的是Few-shot样例的选择。有的评测者喜欢在提示词里加几个参考报告范例，让模型“照这个风格写”。同样一次评测，换掉其中一个范例，某些模型的ROUGE分数能波动好几个点。这不是模型不稳定，而是它对样例的模仿权重极高——尤其小模型更明显。

我的经验是：固定一组统一的提示词模板，固定temperature、top_p和max_tokens，固定样例集合，并建议所有对模型的改动都完整记录在评测日志里。宁可提示词设置不是最优，也不要每次跑评测前临场调整。否则你永远分不清分数的变化来自模型进化还是评测配置漂移。

5.3 建立自己的轻量级内评集

最后多啰嗦一句。RadLLM这样的综合基准覆盖的病种多、任务全，但它发布时的数据分布可能和你自己面对的临床场景不一定完全对齐。比如你的业务集中在乳腺X线摄影，而基准里胸部平片占了大头，那分词结果对你的参考价值就打了折扣。

所以我不建议等外部基准“出分”以后才一轮轮优化模型，更好的做法是以RadLLM这类基准的任务矩阵为模板，抽一套轻量级内部评测集：覆盖你核心业务高频病种，加上一种罕见但致命的边界病种，样本量不用大，一百到两百例足够，关键是影像来源必须独立于你的训练数据。每次模型迭代后先在内部评测集上跑一轮快速回归，分数稳定了再送去外部基准做大考。

这样做还有个好处：内部评测集可以设计成和你的报告模板完全一致的结构，直接评估模型产出的格式能不能被下游结构化解析模块直接消费。那些实测下来“模型说得对但格式不合规所以没法用”的坑，这里都能提前踩掉。

最后说点个人体会

我真正上手用RadLLM这类基准测试做了几轮模型选型之后，最大的感受是：它不能替你做临床决策，但它能让你在公开场合说“我的模型比你的模型强”的时候，手里有一份双方都无法赖账的证据。这比什么都重要。

小技巧分享一个：评测结果出来以后，不要只盯着总榜前三名。把单个任务的排名单独拉出来看，你会发现——有些模型专门在“病灶定位”这类感知密集型任务夺冠，有些模型则在“报告生成”这类语言生成密集型任务上称王。选模型不看总榜，看你的核心任务对应子榜。如果你的应用场景是“AI辅助阅片后在报告系统里自动起草”，那语言生成任务的分量就该超出感知任务；如果你要做“急诊胸痛中心的分诊提醒”，危急值识别和前后片对比才值得压上全部权重。

顺着这个思路，RadLLM这类基准往前还能发展出两个方向：一个是面向不同检查模态（CT、MRI、超声、乳腺X线）的专属子基准，另一个是加入更多时间维度的随访数据来测模型的纵向推理能力。后者目前还很稀缺，但临床价值极大——毕竟影像科的日常工作，本质上是一场漫长的前后对比。希望后续能看到更多团队在这里填坑。