医疗AI必备：20个经典热门数据集与避坑指南

做医疗AI这一行，时间久了你会发现，真正拉开差距的不是模型结构，而是你手里有什么数据。尤其是在医疗场景里，数据集的获取难度、标注质量、模态多样性，直接决定了你实验的天花板。标题里提到的“20个医疗场景经典、热门数据集”，我在青光眼筛查、心电分类、胸片异常检测这几个项目里都用过其中不少，这篇就把它们按模态和用途重新梳理一遍，把适合干什么、怎么下载、坑在哪里一次性讲清楚。

我不打算像资源帖那样只丢链接，那样你下载完还是不知道怎么用。每个数据集我会说清楚背景、适合做什么任务、标注格式大概什么样，以及实际使用中容易踩的坑。最后再给你一份速查表和避坑指南，照着选就行。

1. 选医疗数据集之前，先想明白这三件事

1.1 医疗数据集和通用数据集的核心差异

医疗数据集的特殊性，第一是隐私合规，这个绕不开。ChestX-ray14这种公开很久的数据集还好，MIMIC系列就必须走正规申请流程，要过CITI培训、签数据使用协议、等PhysioNet审核。第二是标注成本极高，一份高质量的影像分割标注，成本可能是通用视觉数据的几十倍。第三是模态极其多样，同样是医疗影像，胸片是二维灰度，病理切片是超大尺寸的二维图，CT/MRI是三维体数据，超声又是时序视频，处理方式完全不同。

我在实际项目里的体会是，先把你要做的任务定义清楚，再去找数据。同样是胸部数据，肺结节检测用LUNA16就比ChestX-ray14合适，因为前者有明确的结节位置标注，后者只是图像级标签。数据不是越大越好，匹配任务才是第一位的。

1.2 判断数据集好坏的三个维度

我筛选数据集时一般只看三个维度：标注质量、类别分布、获取成本。

标注质量是最要命的。很多公开数据集用NLP从报告里自动提取标签，比如ChestX-ray14，这在当年是开创性的做法，但也引入了不少噪声标签。训练时你会发现验证集指标忽高忽低，别急着调模型，先看看是不是标签本身的问题。类别分布决定你模型能不能用。医疗数据天然长尾，正常样本永远比病变多，ISIC皮肤病数据里良性痣就是绝对多数，训练时要做重采样或者用Focal Loss。获取成本不只指钱，还包括认证流程、下载速度、格式转换的工作量。

1.3 下载前必备的两个准备

一是把账号体系提前注册好。NIH、PhysioNet、Kaggle、TCGA这几个平台的账号不通用，每个都要单独注册，其中PhysioNet的认证流程最长，建议最先启动。二是确认存储和算力。CT、MRI这类三维数据动辄几百GB，MIMIC-IV解压后也接近80GB，别等下载到一半才发现磁盘满了。

2. 医学影像类数据集：胸片、CT、MRI与超声

2.1 胸片类：从图像分类到报告生成全覆盖

先说最经典的 ChestX-ray14，由NIH在2017年发布，包含约11.2万张胸片，覆盖3万多患者，标注了14种胸部疾病标签，包括肺不张、浸润、气胸、胸腔积液等。它是第一个大规模公开的胸片多标签分类数据集，几乎所有胸片预训练模型都会拿它做基准。下载地址在NIH官网，文件是打包好的PNG图片，不需要额外标注解析，属于最容易上手的一类。我当年第一次跑通多标签分类就是用这个数据，模型结构也简单，DenseNet-121加一个sigmoid输出层就行。唯一要注意的是，它本身存在数据泄露问题，同一个患者的片子可能同时出现在训练集和测试集里，论文里一般会按患者ID划分，你复现的时候不要忽略了这一点。

接着是 CheXpert，斯坦福在2019年放出来的，224,316张胸片，14个观察项，相比ChestX-ray14，它的标注更细致，而且提出了一个处理不确定标签的方法——把标注为不确定的样本视为负样本，用单一模型就能达到不错的准确率。后来官方发布了带专家标注的版本，便把比赛榜单和实际使用彻底区分开了。如果你的目标是发表论文，CheXpert做预训练，再迁移到下游细分任务，效果通常比直接用ImageNet初始化的模型好不少。

第三个是 RSNA Pneumonia Detection Challenge，这是个检测任务的数据集，来自Kaggle，约26,684张胸片，标注的是肺炎病灶的边界框和是否为肺炎。做完分类再做检测，我推荐先用这个过渡，它的格式是常见的CSV标注文件，框坐标是标准化的，接入YOLO或Faster R-CNN都很方便。我试过用它训练一个肺炎检测模型，虽然图像分辨率普遍不高，但对于三四线基层医疗的初步筛查场景，效果是能接受的。

如果你要做胸片报告生成，OpenI可以看看。它由印第安纳大学发布，7,470张胸片配对应医学报告，而且有MeSH索引词。数据量不大，但胜在图文匹配完整，适合做图像到文本的跨模态任务。我见过不少人拿它配合MIMIC-CXR一起用。

2.2 CT类：肺结节、肝脏与多器官分割

CT数据里，LUNA16是绕不开的一个。它来自LUNA挑战赛，从LIDC-IDRI中筛选出888个CT扫描，标注了肺结节的位置和直径。评估指标用的是FROC，这个指标跟普通检测的mAP不一样，它考察的是在多个假阳性率下的召回率，代码写起来比模型本身还繁琐。我建议直接用官方评估脚本，别自己实现，容易出偏差。

肝部相关有两个常用数据集。LiTS包含2017年MICCAI挑战赛的CT扫描，共201个训练样本，标注了肝脏和肝脏肿瘤，适合做肝脏及肿瘤分割。CHAOS则覆盖了MRI和CT两种模态，包括肝脏、左肾、右肾、脾，共4个器官的分割标注。CHAOS的标注文件是逐层mask的PNG，读取方式很直观。我做腹部多器官分割时，用Synapse多器官数据集做主干，再用CHAOS做跨模态验证，这类多器官任务对临床辅助评估很有价值。

疫情之后，SARS-CoV-2 CT分割数据集也成为一个热门资源。它包含约3,700个CT切片，标注了COVID-19相关的感染区域，虽然不是一个纯官方组织发布的，但在当时的科研环境下被广泛使用。如果你现在想做一个泛化能力强的肺部感染分割模型，它可以和其他肺部分割数据混合使用。

2.3 MRI类：脑胶质瘤与多模态融合

BraTS（Brain Tumor Segmentation）是脑胶质瘤分割的标杆数据集，每年在MICCAI上更新。它提供四种MRI模态：T1、T1ce、T2、FLAIR，标注了肿瘤的增强区域、水肿区域和坏死核心。最经典的做法是四通道输入，U-Net及其变体是主力backbone，评估用Dice系数。现在BraTS 2021版本已经把训练集固定在大约1,251例，不再像以前那样每年大改，适合做长期比较。注意申请时需要填一个简单的使用协议，审核很快，基本当天能过。

2.4 超声与皮肤镜：二维图像里的特殊赛道

超声数据相对胸片和CT更难获取，但CAMUS是一个质量很高的选择。它包含500例心内超声（2D超声心动图）数据，标注了左心室和右心室的心内膜轮廓，同时提供收缩末期和舒张末期两个时相。这个数据非常适合研究心脏功能评估，比如射血分数的自动化测量。处理超声数据时有一点需要留意：图像对比度低、噪声多，一般的图像增强策略不一定管用，我在项目里用的最多的是对比度受限自适应直方图均衡化（CLAHE），效果比普通直方图均衡化好不少。

ISIC是皮肤镜图像领域最知名的数据集系列，2016到2020年每年都有挑战赛，涵盖病变分类、分割、属性识别等任务。它最吸引人的地方是图片规模大且类别覆盖广，但类别不均衡非常严重，黑色素瘤样本的比例远低于良性痣。训练时我用过各类损失函数，最后发现加权的Dice Loss配合数据增强最稳。下载同样在ISIC官网，注册后通过Google Drive或AWS镜像拉取。

此外，RadImageNet虽然不是单一器官的数据集，但它是放射影像预训练的宝藏，包含超过120万张超声、CT、MRI和X光图像，类别超过3,000种。我做过对比实验，用RadImageNet初始化的模型在好几个下游任务上比ImageNet初始化靠谱得多，毕竟预训练分布和医学影像更接近。

2.5 病理与基因组：TCGA的特殊之处

TCGA（The Cancer Genome Atlas）严格来说不是一个完整的数据集，而是一个多癌种、多组学的数据库，包含基因组、转录组、表观遗传和部分病理切片。它的申请流程在几个数据集中属于偏严格的，需要向dbGaP提交研究用途说明，等待周期可能以周计。但如果你做肿瘤相关的多模态研究，它几乎不可替代。比如用TCGA-BRCA做乳腺癌生存分析，可以同时融合基因表达和临床数据。我把这个列进来，是想提醒你，医疗数据集远不止影像，组学数据同样是一大赛道。

3. 生理信号与ICU类数据集：心电、脑电与多模态监护

3.1 心电信号：从十二导联到单导联

PTB-XL是目前规模最大的公开十二导联心电图数据集，包含21,837份记录，采样率有100Hz和500Hz两种版本，标注基于SCP标准，覆盖诊断超类和亚类，心梗、传导异常、ST-T改变都能找到。它的下载在PhysioNet，不需要额外认证，注册账号就行，非常友好。我做过一个心梗筛查模型，用PTB-XL训练，验证集AUC能做到0.9以上，但在真实临床数据上会掉一些，主要问题是导联位置偏移和采样率不一致。

如果只想做单导联、面向移动设备的分类任务，PhysioNet Challenge 2017的数据集值得关注，它包含8,528条单导联心电信号，目标是把心电信号分为正常、房颤、其他、噪声四类。这是入门心电分类最理想的数据集，量级小、标注统一、评估指标清晰，我建议新手从这里起步，而不是直接上PTB-XL。

3.2 脑电信号：睡眠分期与情绪识别

Sleep-EDF是睡眠脑电研究最常用的数据集之一，包含从健康志愿者采集的整夜睡眠记录，主要有Fpz-Cz和Pz-Oz两个导联，标注按30秒一段分为W、N1、N2、N3、REM几个期。睡眠分期的经典做法是把单通道脑电做多尺度特征提取，再用LSTM或Transformer做时序建模。这个数据的下载在PhysioNet，也是注册即得。

DEAP是情感计算领域非常知名的数据集，包含32名受试者的40段音乐视频实验记录，采集了32通道脑电以及多种外周生理信号。它不完全是临床医疗场景，但在疼痛评估、情绪障碍研究、神经反馈训练中经常被用到。我之前结合SEED数据集做过跨受试者情绪分类实验，能明显看出个体差异对模型泛化能力的影响，这本身也是医疗AI里一个值得研究的问题。

3.3 ICU多模态：MIMIC系列的重要性

MIMIC-III是重症医学AI领域的标志性数据集，收录了近6万次ICU住院记录，涵盖生命体征、实验室指标、药物、护理记录、影像报告和自由文本。它最大的特点是可以支持多任务研究，比如死亡风险预测、败血症早期预警、用药安全分析等。申请需要完成CITI培训，提交给PhysioNet的审核流程，我去年申请过一次，大概十天左右通过。下载后需要把CSV文件导入数据库，官方示例用的是PostgreSQL，强烈建议你先把official的databuild脚本跑通，再考虑自己造轮子。

MIMIC-IV是更新版本，在做MIMIC-IV v2.x时，我发现它把急诊（ED）、ICU和住院（Hosp）三个模块拆得更清晰了，表结构也在逐步重构，跟MIMIC-III的表不能直接对应。如果你是新用户，直接学MIMIC-IV就行，但如果复现老论文，还是绕不开MIMIC-III，这就是一个取舍的问题。

3.4 影像报告多模态：MIMIC-CXR与n2c2

MIMIC-CXR是MIMIC系列里的影像分支，包含37.7万张胸片以及对应的放射报告，其中部分带有专家标注标签。它做视觉语言预训练、报告自动生成、医学图像检索都很有价值。申请条件与MIMIC-III相同，也需要先拿到PhysioNet的授权，再单独请求这个数据库的权限。拿到以后你会看到一个很大的DICOM目录结构，先用官网给的metadata.csv和split.csv做划分，不要自己按文件夹猜。

n2c2是临床自然语言处理领域最有名的系列挑战数据，覆盖了药物信息抽取、时序关系识别、去标识化等多个任务。它需要签署DUA文件，审核周期不确定，短则几天，长则两周。如果你做电子病历的信息抽取，n2c2和i2b2的历史数据至今仍是标准基准。

4. 多模态与基准数据集：快速上手与模型对比

4.1 MedMNIST：两行代码跑通医学图像分类基线

MedMNIST是我非常喜欢的一个基准数据集，它把18个二维和三维医学图像数据集统一成了MNIST的接口和使用方式。虽然叫MNIST，但里面实际涵盖了眼部、肺部、皮肤、骨骼等多个器官，既有分类，也有分割。我在开新项目的时候，会先用MedMNIST跑一遍模型的baseline，确认模型能收敛，再切换到大规模数据集调参。这个做法帮我省了很多试错时间。

4.2 数据集之间如何组合使用

很多实际任务需要跨数据集混合训练。比如做一个通用的胸部异常检测系统，你可以用ChestX-ray14做预训练，用CheXpert做标签细化，再用RSNA的框标注做检测微调。三个数据集的标签体系不完全一致，我建议在数据层面做统一映射，把14类和14类的观察项合并到一套标准的8大类，否则训练时loss很容易震荡。跨数据集训练还有一个好处是降低对单一数据集标注偏差的敏感度。

5. 二十个医疗数据集速查表

6. 下载与使用避坑指南

6.1 认证申请与下载渠道的先后顺序

我发现大家最容易忽略的是申请顺序。PhysioNet的认证周期通常在一到两周，而MIMIC系和部分挑战赛数据都依赖它，所以如果你计划做ICU方向，第一件事就是先把CITI培训做完、把账号申请提交上去，再去研究算法。别等到数据准备好了才想起申请。TCGA的dbGaP审核更慢，有些项目还会要求机构PI签字，这部分要预留出足够的时间。Kaggle和NIH官网的数据基本是即下即用，没什么门槛。

6.2 文件格式与预处理

DICOM格式是医学影像最常用的存储格式，但直接拿来训练深度学习模型不现实。我建议先用pydicom读取，再转成NIfTI或PNG，转的时候务必保留图像元数据里的像素间距、窗宽窗位信息，尤其是CT和MRI，归一化方式跟自然图像完全不同。CT的HU值范围是-1000到2000左右，常规做法是先窗宽窗位裁切，再线性缩放到0到1，而不是直接用MeanStd归一化。心电图数据则要注意滤波，PTB-XL自带的预处理工具可以帮你处理基线漂移和工频干扰。

6.3 常见问题与排查

这一部分我列几个自己和学员在实操中常踩的问题：

第一个问题是PhysioNet下载中断。MIMIC-IV解压后有几十GB，浏览器下载很容易断。建议用wget配合-c参数断点续传，或者写脚本做增量下载。解压时要留意嵌套压缩包，先解压出.gz，再解压内部.tar，很多人卡在这里。

第二个问题是BraTS数据维度和体素间距不一致。不同患者的MRI图像形状不完全相同，需要重采样到统一的spacing。我习惯把spacing重采样到1x1x1mm，然后做z-score归一化，标准做法基本够用。

第三个问题是数据集划分不一致。不少公开数据集官方只给了一个划分方案，但不同论文私下里用的划分可能不同，对比结果时非常容易失真。我的建议是所有实验都固定使用官方划分，同时用MedMNIST这样的基准数据做横向比较，尽量避免“自创划分”带来的争议。

第四个问题是标签体系不统一。胸片领域ChestX-ray14和CheXpert虽然都是14类，但疾病定义有细微差别。跨数据集训练前一定要坐下来把标签映射表理清楚，不然出现重名类别但语义不一致的情况，模型会学得很乱。

第五个问题是类别不均衡。医疗数据里负样本永远多于正样本，而且正样本中不同疾病的难例分布也不同。除了重采样和加权损失，我在ISIC上试过困难样本挖掘，效果比单纯用Focal Loss好一些，但实现成本更高，前期还是以Focal Loss和加权Dice为主。

7. 一点个人体会

数据集这个东西，表面看是资源问题，往里看是工程问题，再往深了看是研究品味问题。我在医疗AI这个方向做了不少项目，最大的感受是，与其追着热门数据集跑，不如花时间把一个数据集的坑摸透。ChestX-ray14的标签噪声、LUNA16的FROC评估、MIMIC-IV的表结构，任何一个你研究透了，都能支撑起一篇像样的工作。反过来，泛泛地在20个数据集上各跑一遍，最后可能什么也留不下。

如果你刚入门，我的建议是从MedMNIST和PhysioNet Challenge 2017入手，成本低、反馈快，能把数据加载、模型迭代、评估全流程跑通。有经验之后，再挑战MIMIC和TCGA这种重数据。最后分享一个小技巧：下载任何数据集之前，先把对应的论文读三遍，特别注意实验设置、数据划分和评估指标三块。很多数据集的说明书比想象中更重要，读懂了它们，你后面能省下大量返工的时间。