AI结合优化测序与机器学习实现早期肺癌筛查技术全流程解析

最近几天，一篇新研究在AI医疗的圈子里传得挺热：AI结合优化后的测序方案，再用机器学习方法做分类，能在比较早的阶段把肺癌患者从普通筛查人群里识别出来。我花时间把这篇研究公开的技术路线、补充材料和分析流程完整过了一遍，又用公开仿真数据和几个测试集，把核心的数据处理加模型训练流程动手跑了一遍。这篇文章不是论文摘要的翻译，而是我自己的复现笔记、踩坑记录和技术拆解。

如果你正在关注机器学习在医学场景的落地，或者刚学完机器学习的入门课程，想看一个从原始测序数据到临床可解释结果的全流程案例，那这篇内容应该对你有用。我会尽量少堆术语，但该讲透的地方，比如测序优化到底优化了什么、模型选择的逻辑是什么、验证指标应该怎么设，也不会含糊带过。

核心就一句话：早期癌症信号很微弱，高灵敏测序负责把信号捞出来，机器学习负责在噪声里做判断，两者缺一不可。

1. 为什么是肺癌，为什么是测序

1.1 低剂量CT的局限与液体活检的机会

长期来看，早期肺癌筛查的主流手段还是低剂量螺旋CT。它的优点是便宜、快、能看到小结节，缺点是看得到结节不等于分得清性质。现实中大量筛查发现的肺结节是良性病变，比如炎性假瘤、肉芽肿、陈旧性病灶。影像科医生根据大小、形态、密度变化给出一个“可能良性”或“需要随访”的判断，这个判断里经验成分很大。过高的假阳性会让患者反复接受CT复查，甚至接受不必要的手术，这在临床叫过度诊断。

与此相对的，如果病灶确实有问题但太小、位置太深，常规穿刺和支气镜活检可能取不到足够组织，病理结果又是阴性，就会造成诊断延误。所以临床上急需一个无创、可反复检测、适合人群初筛的技术路线。液体活检由此进入视野，它最大的优势是采样方便，抽血就能做，而且理论上可以捕捉到肿瘤释放入血的DNA片段。

现实约束也很明显：早期肿瘤释放的信号太微弱，经常淹没在技术噪声里。我们可以简单算一笔账：假设筛查人群里真实患癌率是1%，如果某个检测方法的特异性只是95%，那么1000个人里会产生接近50个假阳性，而真实的早期癌症患者可能只有10个左右。这意味着阳性结果里一大部分其实是正常人，复查成本和心理负担都不小。所以早期筛查模型对特异性和阳性预测值的要求，比一般场景高得多。

要在这种背景下做判断，只有两条路可以走，一条是把测序本身的灵敏度做得足够高，另一条是把数据分析模型做得足够聪明。这两年比较成功的做法，基本是两条路一起走，也就是标题里说的“AI加优化测序”。

1.2 测序数据里到底有哪些能建模的信号

很多人一听测序检测癌症，以为就是在找驱动基因突变。突变确实重要，但早期阶段血浆里的循环肿瘤DNA浓度常常低到变异等位基因频率只有百分之零点几甚至更低，单靠突变位点去分辨，同一批样本里噪声都能盖过信号。更稳定、更适合建模的信息，其实来自几个不同维度：

• 甲基化：肿瘤特异性的启动子甲基化改变通常出现较早，信号强度比点突变大，是现阶段液体活检中比较主流的分析维度。
• 片段组学：肿瘤来源的cfDNA片段在长短分布、末端序列模式、断点位置上都和正常cfDNA有差异，可以用来构建特征画像。
• 拷贝数和突变：在中晚期或肿瘤负荷较高时有效，在早期队列里属于“配合信息”。

这几个维度的数据在数学上非常适合机器学习。因为它们都不是单个阈值能拍板的，而是几十上百个弱特征可以互补。比如某个片段特征单独看区分度不高，但跟某个甲基化标记放在一起，对早期的判别力就会明显提高，这种交互信息恰恰是线性规则很难手工总结的，需要模型去学习。

我在做技术拆解的时候，会习惯把数据分成“突变类特征”“甲基化特征”“片段特征”三大块，先分别建模再集成，而不是一股脑塞进一个模型。这么做的好处是，中间哪个环节出问题很容易定位，代码调试和生物学解释也方便很多。

2. “优化测序”到底在优化什么

2.1 实验层的降噪与背景模型

“优化测序”这个说法在新闻标题里很容易被一笔带过，但放到技术层看，它包含的内容非常多，一层一层拆开看，每个环节都在跟信号质量和成本较劲。

首先是测序成本与灵敏度的平衡。液体活检很少一上来就全基因组测序，因为早期信号太稀薄，想要达到足够的覆盖深度，全基因组做下来成本太高，不适合大规模筛查。常规做法是选一个靶向panel，覆盖与肺癌高度相关的关键基因和外显子区，再配合高深度测序，把每个目标位点的覆盖深度做上去，这样低频突变才不会被随机测序错误掩盖。

其次是降低实验错误。建库和PCR扩增过程中一定会引入错误，如果不区分，几万个位点里就会出现大量假阳性。现在主流方案是用UMI，也就是给每一条原始DNA分子打上唯一标识，扩增后测到的多条序列如果对应同一个UMI，就被认为来自同一条原始分子，可以合并去重。这一步能从源头把大部分随机错误过滤掉。之后再配合双端测序，两条末端都支持同一个变异才更可靠，我在实际项目里看到很多假阳性就是在这两层过滤之后消失的。

第三层是背景模型。不同批次、不同医院、不同测序仪的偏差各不相同，纯靠固定阈值很难应对。比较成熟的做法是用一组正常样本去统计每个位点的噪声分布，建立背景错配谱，再拿患者信号跟这个背景模型比较。这个环节里机器学习也可以直接参与，训练一个“真实信号还是实验噪声”的二分类器，模型学到的规律往往比人工定死阈值更灵活。

2.2 数据层的特征工程

测序数据到了生信分析阶段，先要经过比对、变异识别、注释等流程，得到一串中间结果，比如每个样本的突变位点列表和VAF、甲基化beta值、片段长度分布特征。这些结果不能直接送进模型，要做几件基础的事情。

第一是归一化。甲基化beta值分布在0到1之间，片段长度中位数则是几十到几百的整数，VAF是0到1之间的小值，直接混在一起放模型，量纲会干扰算法计算。第二是取对数。VAF和部分片段特征在小值时差异更有信息量，取log之后分布更接近对称。第三是去相关和降维。高维相关性强的特征会导致模型不稳定，我习惯先算相关系数矩阵，把相关系数高于0.8的特征只保留一个代表，再根据方差过滤掉变化很小的特征。

我在复现时的一个体会是，特征数量不是越多越好。早期拼了命往模型里塞特征，结果验证集AUC很不稳定；后来把特征压到四十个以内，AUC反而稳了，模型解释起来也容易很多。小样本医学数据尤其吃这个经验，千万不要拿图像任务那一套“特征不够，模型来凑”的思路硬套。

2.3 模型选型的底层逻辑

前面铺垫了这么多，落回模型选择时会变得很自然。一个典型的液体活检分类项目，样本量一般在几百到几千之间，特征维度经过筛选后也有几十个上百个，这时深度神经网络的收益通常有限，反而容易过拟合。

我在实际项目中会按下面这个顺序推进：

1. 先用逻辑回归做基线，看看线性可分性是否强到能直接出结果；
2. 再用随机森林或XGBoost，检测非线性特征交互是否存在；
3. 如果树模型效果更好，进一步用特征重要性倒推哪些组合在起作用；
4. 最后在嵌套交叉验证里完成超参数搜索，用独立测试集给出最终指标。

有人可能会问：为什么不直接上深度学习，让模型自己学特征？模型复杂度和数据量要匹配，这是机器学习入门时就要牢记的原理，在医学小样本场景里更是铁律。泛化误差界那套理论在调研阶段很有帮助，它从数学上解释了样本量越小、模型容量越要收住的逻辑。李宏毅老师的课里也反复强调过，机器学习的第一步不是调参，而是找一个合适的评价方法。这在医疗场景里尤其重要，因为评价方法错了，后面所有工作都是白搭。

3. 从数据到模型：关键步骤复盘

3.1 数据准备与特征构建

我每次拿到一批样本特征表，第一步都是做质控，而不是急着建模。要检查测序深度是否达标、覆盖度是否均匀、有没有样本的QC标记异常，这一步直接决定后续模型的可信度。质控完成后再处理缺失值，甲基化和片段特征偶尔会有缺失，我会用训练集中位数填充；如果某个特征缺失比例超过10%，就直接删掉，避免填充本身成为一种误导信号。

下一个重点是切分数据。训练集、验证集、测试集一定要先切好，而且切分要带分层随机，保持正负比例和原始队列一致。然后，所有归一化参数都只在训练集上计算。

这里是最容易被新手忽略的信息泄漏点。很多人喜欢先把整个数据集标准化再做分割，看起来顺手，但验证集和测试集的信息已经被偷看了。换成真实临床队列时，这种信息泄漏可能直接把模型效果虚高几个点，等换一批新数据就彻底现原形。

下面这段代码是简化版的数据准备流程，我用的是公开仿真特征数据做示例，核心框架可以换成你自己的测序数据：

import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 假设df是特征表，最后一列是标签 X = df.iloc[:, :-1].values y = df.iloc[:, -1].values # 先切分，再归一化 X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) scaler = StandardScaler().fit(X_train) X_train = scaler.transform(X_train) X_val = scaler.transform(X_val)

注意两点：切分时用stratify保持正负样本比例一致；归一化只fit训练集，再transform到验证集上。

3.2 模型训练与验证设计

建模阶段，我习惯把训练过程分成两个循环：外层循环估计模型泛化能力，内层循环搜索超参数。下面这段代码用了GridSearchCV做演示，实际数据规模大时可以把内层搜索换成Optuna，能省不少时间。

from sklearn.linear_model import LogisticRegression from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV, cross_val_score model = Pipeline([ ("clf", LogisticRegression(max_iter=1000, class_weight="balanced")) ]) param_grid = { "clf__C": [0.01, 0.1, 1, 10], } cv = GridSearchCV(model, param_grid, cv=3, scoring="roc_auc") scores = cross_val_score(cv, X_train, y_train, cv=5, scoring="roc_auc") print("CV AUC: %.3f (+/- %.3f)" % (scores.mean(), scores.std()))

为什么要用这种嵌套结构？因为如果只用一份交叉验证分数来选模型，再拿同一个分数对外汇报，本质上是在把验证集当测试集用，指标一定会虚高。外层折数我一般取5，如果总体样本量特别少，可以考虑留一法，但要谨慎，留一法方差大，结果不一定稳。

指标上，AUC只是起步。我建议同时维护一份评估台账，记录验证集上的AUC、敏感度、特异性、阳性预测值、阴-性预测值，并给出AUC的95%置信区间。区间跨度过大，说明样本量支撑不足，结论要谨慎写。

在早期筛查场景里，敏感度和特异性的平衡点怎么取，更多要看应用背景。如果模型是为了在体检人群里做初筛，宁可稍微降低特异性来保敏感度，避免漏掉真病人；如果模型是用来做高风险人群的二次分流，那特异性就要提上来，减少不必要的转诊。这种取舍应该在模型训练之后，用验证集上的P-R曲线或校准曲线来完成。

3.3 结果解读与可解释性

模型跑完，第一件事不是看测试集分数，而是回到特征层面问一句：模型为什么这样判断？

我用得比较多的是SHAP值分析。它能给出每个特征对一个样本预测的贡献方向。假如一个样本被模型判为高风险，SHAP会告诉你主要是哪些特征把它推过去的。这时候生信团队能去核实，这些特征对应的甲基化位点和片段特征是否有生物学解释，有没有文献支持。如果模型判断依据明显来自技术噪声，那模型就要回炉重做。

校准曲线也是必看的。AUC高只能说明模型把正负样本排序排得好，不代表模型预测出来的概率值接近真实概率。筛查场景里，预测概率会被用来做风险分层，概率偏低的不敢放，概率偏高的又怕误导。常用处理方法是做Platt缩放或等渗回归，把输出概率校准到接近经验概率。这一步对实际落地很重要，但对论文指标的影响不大，所以很多人会忽略，等到做医学转化时再补就晚了。

我自己的一个固定动作是：在完成模型训练后，画三张图，混淆矩阵热力图、校准曲线、SHAP摘要图。这三张图放在一起，基本就能说清楚“模型表现怎么样、概率是否可信、依据是否合理”。完整跑完这一套，再往下一步走会觉得心里有底很多。

4. 复现和落地中的常见问题与排查技巧

4.1 样本不均衡怎么处理

实际队列里，健康对照和患者的比例通常会很悬殊。模型应对不均衡的能力不是靠魔法参数学来的，而是有策略的。

我的处理顺序是：

1. 先改评价指标：放弃准确率，看AUPRC，再配合敏感度/特异性曲线；
2. 训练时给少数类更高的class_weight，让模型对患者样本更敏感；
3. 如果严重不均衡，再做适度过采样或欠采样，但不要过度，否则容易过拟合；
4. 最后在阈值选择阶段，用验证集来确定“多少概率以上算阳性”，不要傻乎乎卡0.5。

特别注意，不要在测试集上调阈值。我在早期项目里有一次为了优化验证结果，反复用测试集去试不同阈值，最后报告的指标完全失真。正确的做法是阈值只能在验证集上定，测试集只能碰一次。

4.2 批次效应与过拟合问题

批次效应是测序AI项目里最阴险的坑。最典型的表现是，模型在数据来源的单中心验证时效果好到惊艳，一到多中心外部数据就表演“原形毕露”。原因往往是模型学到了平台、试剂批次、样本处理流程带来的系统性差异，而不是疾病信号。

处理批次效应有几个层次：

• 建库和分析流程固定化，从源头减少差异；
• 用正常对照做背景校正，把基线噪声对齐；
• 把批次信息作为协变量加入模型，让它学会忽略批次差异；
• 如果条件允许，做多中心独立验证，这是评价模型迁移能力最重要的环节。

关于过拟合，一个快速检视方式是看训练集和验证集的差距。差距大到一定程度，基本就能确定过拟合了。对策不外乎增强正则化、减少特征、增加数据。这里我特别想提醒一句，如果靠过拟合去换训练集上的漂亮数字，最后被骗的是自己，等拿到真实临床数据上验证，一定会付出更大的代价。

我把复现和落地过程中常见的问题整理成了一个速查表，方便以后排查：

4.3 可解释性与数据合规提醒

医疗模型的可解释性不是可选项，而是落地前提。除了前面说的SHAP，也可以结合LIME看单个样本的局部解释。不过我更推荐把解释落实到“生物学通路”层面，把显著特征映射到基因和通路，结合已有的文献证据，让临床医生看到“这个模型的判断有机制支撑”，而不是“一个黑盒刚好猜对了”。

另外，做临床数据相关的项目，伦理审查、知情同意、隐私脱敏、数据共享协议一个都不能少。模型输出要明确限定为科研或辅助筛查定位，不能替代临床诊断。这不仅是流程问题，也是整个AI医疗行业能否长期走远的基础。

我自己复现这个项目最大的体会是：早期肺癌鉴别这个任务，真正难的不是把代码跑通，而是把“测序优化”和“机器学习”这两个环节拧成一股绳。你拿到的每一项测序指标都可能有噪声，模型能不能稳定工作，取决于上游优化做得够不够好；反过来，上游优化做得再好，模型验证设计不严谨，结论也很难让人信服。筛查场景里每一个假阳性和假阴性背后都是一条活生生的人，所以数据洗得再干净、验证做得再严格都不过分。

最后再分享一个小技巧：如果你是刚接触机器学习，想拿这个案例练手，可以先不碰那些花哨的深度网络，从逻辑回归和随机森林起步，把交叉验证、校准曲线、SHAP这些基本功吃透。这些工具在医疗AI项目里的价值，远比你想象中要大。