gcForest在小样本医学诊断中的实践：原理、调参与避坑

简介：这是一份面向机器学习初学者与医学数据分析人员的Python项目实战资源，围绕深度神经网络gcForest（多粒度级联森林）模型，完成从医学数据获取、预处理、探索性分析、特征工程到模型构建与评估的完整流程，并给出结论与展望。压缩包共5个文件、约58.36MB，包含两个Python脚本（GCForest.py与gc_xiangmu.py）、一份xlsx数据文件、一份项目实战PDF文档以及一个代码讲解mp4视频，代码与讲解材料相互配套，PDF文档还拆分出项目背景、数据获取、模型评估等章节。已有1592人学习下载。通过该资源，读者可掌握gcForest多粒度级联森林在医学诊断场景下的落地方法，参照项目文档复现数据探索与特征构建思路，结合视频逐步理解模型训练与评估细节，特别适合希望用集成深度树模型解决二分类问题、快速搭建实验框架的开发者。

1. 医学诊断场景里，gcForest 为什么常被误当成深度学习，却能靠结构化小样本赢下比赛

在医学诊断模型选型的时候，我经常遇到团队把 gcForest（多粒度级联森林）和深度神经网络混为一谈。名字里有个“深度”，结构里又有多粒度扫描，看起来像 CNN 的滑动窗口，实际上它是一整片随机森林组成的级联结构，训练过程不需要反向传播，也不需要 GPU。真正让我对它刮目相看的，是在标注样本只有几百例的医学表格数据上，它比 XGBoost 更稳，比深度神经网络更容易收敛。接下来我会把 gcForest 从原理到落地、再到医学诊断场景里的踩坑点拆开讲清楚。如果你手头有结构化医疗数据、样本量不大、又想要可解释的分类概率，这个方向值得你投入一下。

2. 拆开黑匣子：级联森林与多粒度扫描的原理，以及它们对医学诊断数据意味着什么

gcForest 的核心不是“深度神经网络”，而是“级联结构”和“多粒度扫描”两个机制。要想在医学诊断数据上用好它，得先明白这两个机制分别在解决什么问题。

2.1 级联森林：从随机森林到逐层精炼的级联结构

常见的随机森林是一次性用所有特征训练一批决策树，然后投票出结论。这个流程的问题在于：每棵树看到的都是原始特征，树之间没有机会对彼此的预测结果做二次加工。级联森林的思路是模仿深度网络逐层抽象：第一层用随机森林和完全随机森林分别训练，得到类别概率向量；把这个概率向量拼接上原始特征，作为第二层的输入；第二层再训练新的森林，输出新的概率向量，再传给第三层。每一层都在对上一层的“判断”做精炼。

在医学诊断中，这种逐层精炼有很现实的收益。比如最初的体征数据里，单个指标对疾病的区分度不高，但第一层森林可能会从“血压+血糖”的组合里学到某种倾向，第二层森林就能基于这个倾向再结合其他特征做判断，相当于把特征交互的阶数一层层往上抬。完全随机森林在每棵树的每个节点随机选特征做分裂，目的是增加基学习器多样性，避免所有树变成同一个模子。级联层输出的是类别概率向量而不是离散标签，这样下一层拿到的不是“患者患病”这种硬结论，而是“患者有 65% 概率患病”的置信度，信息量更大。这个设计借鉴了堆栈泛化，但用串行级联代替了一次性交叉验证，计算代价更小。

从实现角度看，级联层数需要控制。max_layers 是最大层数，early_stopping_rounds 是连续几层指标不再提升就停止。医学小样本数据上，实际层数往往只有 2～5 层，如果一路冲到 10 层还不停，要立刻怀疑过拟合。它和深度神经网络的逐层特征提取有形式上的类似，但训练准则完全不同，这也让它在小样本上比 BP 网络稳定得多。

2.2 多粒度扫描：为什么滑动窗口能重构医学特征

多粒度扫描是 gcForest 名字里“多粒度”的来源。它的做法是：用一个固定长度的滑动窗口在原始特征序列上滑动，每滑到一个位置就截取一段子序列，把这段子序列当成一个新的样本切片，输入给一层随机森林。窗口长度可以取特征总数的 1/4、1/2 等，得到多种粒度的特征视图。

在医学诊断里，这个操作对时序特征和空间特征特别有用。比如心电信号、脑电图、血氧序列这类带顺序的测量值，窗口扫描能捕捉局部波形；再比如病理切片的多尺度特征，不同窗口相当于不同放大倍率。不过要注意：经典 gcForest 的多粒度扫描是为图像设计的，输入是像素块；而医学表格数据往往是没有空间顺序的独立特征列，比如年龄、肌酐值、白细胞计数。此时滑动窗口扫描更像是一种特征重排和拼接，不能硬套。

如果原始数据是 50 个彼此独立的化验指标，窗口长度设为 25，扫描后会产生 26 个切片，每个切片 25 维，再拼接原来的 50 维，特征维度会膨胀。这意味着多粒度扫描在表格数据上不总是增益，有时反而增加训练时间和过拟合风险。我的经验是：先用单粒度（不启用扫描，或者窗口等于全特征）跑通，再用窗口 1/2、1/4 做对比，不要一上来就开多个窗口。窗口越小，切片越多，后面要讲的 n_mgs_rf_tree 消耗会成倍放大。

2.3 gcForest 与深度神经网络的关系：不是替代，而是表格数据的补充

标题里写着“深度神经网络 gcForest”，但严格说，gcForest 是深度森林，不是神经网络。深度体现在层数上，而不是神经元和反向传播。它和深度神经网络的本质区别在于每一层都是可解释的树模型，训练用 CART 分裂准则，不需要梯度下降，不需要学习率，也不容易梯度消失。

对医学诊断来说，这正是优势。诊断数据通常有几个特点：样本量小（几百到几千例）、特征类型混杂（数值型化验单、分类型病史、缺失值多）、模型输出需要面对监管和医生质疑。深度神经网络在这些条件下容易过拟合，调参像玄学；而 gcForest 的树模型天然能处理缺失值和混合类型，训练曲线更稳定，还能通过置换重要性给出特征排序。它不适合替代深度神经网络去做图像分割、心电图波形识别这类像素级任务，但在“表格数据 + 小样本 + 分类概率”的医学诊断场景里，它值得排在候选列表的前三名。

我一般会把 gcForest 放在 XGBoost、LightGBM 之后做交叉验证对比。原因不是它一定更强，而是它能提供一种不同偏差的基模型，集成时往往能带来额外增益。记住：它是补充，不是替代。

2.4 用 sk-learn 风格接口快速跑通最小案例：验证级联层数

deep-forest 库提供了符合 sklearn 接口的 CascadeForestClassifier，可以直接用公开的乳腺癌数据集做最小验证。这个数据集有 569 个样本、30 维特征，正好模拟小样本医学诊断。

from deepforest import CascadeForestClassifier from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score X, y = load_breast_cancer(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y) clf = CascadeForestClassifier( random_state=42, max_layers=10, early_stopping_rounds=3 ) clf.fit(X_train, y_train) print('实际级联层数:', clf.n_layers_) print('测试 AUC:', roc_auc_score(y_test, clf.predict_proba(X_test)[:, 1]))

逻辑说明：CascadeForestClassifier 的 fit 接口与其他 sklearn 分类器完全一致。调用 fit 之后，模型会根据内部验证集自动判断是否继续增加级联层；early_stopping_rounds=3 表示连续 3 层验证指标不提升就停止。打印的 n_layers_ 就是最终实际使用的层数，通常远小于 max_layers=10。

参数说明：train_test_split 里的 stratify=y 保证正负样本比例在训练集和测试集中一致，这是医学小样本必须养成的习惯。predict_proba 返回的是二维数组，第二列是正类概率，作为 ROC-AUC 的输入。这个案例能跑通，说明环境依赖没问题，接下来就可以换自己的医学诊断数据。

3. 用 Python 把 gcForest 跑在医学诊断数据上：从安装到第一个可提交的分类结果

3.1 安装与依赖：为什么优先选 deep-forest 库

gcForest 本身是周志华团队提出的算法，Python 实现里最常用的是 deep-forest 库，pip 包名是 deep-forest，导入名是 deepforest。安装方式：

pip install deep-forest

如果你在离线内网环境（很多医院项目不允许连外网），需要提前在有网的机器上下载 wheel 包：

pip download deep-forest -d ./offline_pkgs

然后把整个目录拷进内网，执行：

pip install deep-forest --no-index --find-links=./offline_pkgs

deep-forest 的依赖是 numpy、pandas、scikit-learn、joblib、numba。注意 numba 版本很关键，太老或太新的 Python 都会让 llvmlite 编不过去。我的建议是 Python 3.9～3.11，配套 scikit-learn 1.2 以上。如果安装时报 llvmlite 相关错误，优先查 Python 版本是否在 numba 支持范围内。另外，在 Windows 上如果遇到 Microsoft Visual C++ 编译错误，通常是因为没有装对应的 Build Tools，不要硬改 numba 版本，直接更新 VC 运行库更快。

3.2 准备医学诊断数据：Pandas 清洗与标签编码

医学诊断数据最常见的格式是一张宽表，行是患者，列是化验指标、病史、年龄、性别，最后一列是标签（患病/未患病、阴性/阳性）。我一般这样处理：

import pandas as pd df = pd.read_excel('medical_diagnosis.xlsx', engine='openpyxl') # 去掉没有意义的行标识列，保留特征与标签 if 'patient_id' in df.columns: df = df.drop(columns=['patient_id']) df['label'] = df['diagnosis'].map({'benign': 0, 'malignant': 1}) # 数值列补缺失值，分类列做编码 numeric_cols = df.select_dtypes(include='number').columns df[numeric_cols] = df[numeric_cols].fillna(df[numeric_cols].median()) categorical_cols = df.select_dtypes(include='object').columns.drop('diagnosis') df = pd.get_dummies(df, columns=categorical_cols) X = df.drop(columns='label').values y = df['label'].values

逻辑说明：用中位数补缺失值对医学指标比较抗极端值；get_dummies 会把性别、分期这类文本列转成 0/1；标签映射放到后面，是为了避免把诊断列也当成特征。注意：必须在训练测试拆分之后再补缺失值，否则会泄漏测试集信息。这个细节我在后面的避坑章节还会重点说。

参数说明：engine='openpyxl' 是 pandas 读取 xlsx 文件的必要参数，如果没装 openpyxl 会报错，提前pip install openpyxl。select_dtypes 用于区分数值列和对象列，对象列通常是字符串类型。get_dummies 返回的列名会自动加上原列名前缀，如果原列里有两个分类值，比如 gender_male、gender_female，这就是标准的 one-hot 编码。

3.3 训练第一个 gcForest：核心参数与完整代码

用干净数据训练第一个 gcForest 很简单：

from deepforest import CascadeForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score, classification_report X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y) model = CascadeForestClassifier( n_estimators=300, # 每个森林中的树的数量 n_mgs_rf_tree=30, # 多粒度扫描时每个森林的树数量 window_size=None, # 窗口大小，None 表示不启用多粒度扫描 max_layers=10, # 最大级联层数 early_stopping_rounds=3, # 验证集指标连续 3 轮不提升就停止 random_state=42 # 固定随机种子，保证可复现 ) model.fit(X_train, y_train) y_pred_proba = model.predict_proba(X_test)[:, 1] print('Test AUC:', roc_auc_score(y_test, y_pred_proba)) print(classification_report(y_test, model.predict(X_test)))

逻辑说明：这里先禁用多粒度扫描（window_size=None），把 gcForest 当成纯级联森林跑一个基线，目的是先确认数据本身可学。n_estimators=300 是每个森林内部的树数量，不是森林数量；n_mgs_rf_tree 只影响多粒度扫描阶段，当前配置下不生效。max_layers 是深度上界，early_stopping_rounds 是早停的耐心轮数，两者配合防止过拟合。

参数说明：random_state=42 固定后，整个级联过程中的随机森林和交叉验证切分都可复现，这是医学诊断报告的基本要求。classification_report 会输出 precision、recall、f1 和 support，注意这里的准确率只适合类别均衡的场景，类别不平衡时一定要切换到混淆矩阵和 ROC-AUC。

3.4 评估：用混淆矩阵和 ROC-AUC 代替准确率

医学诊断分类不能只看准确率。如果患病率只有 5%，模型全预测阴性也有 95% 准确率，但诊断没有任何临床价值。我会同时打印混淆矩阵、敏感度、特异度、ROC-AUC：

from sklearn.metrics import confusion_matrix, roc_curve, auc import matplotlib.pyplot as plt tn, fp, fn, tp = confusion_matrix(y_test, model.predict(X_test)).ravel() sensitivity = tp / (tp + fn) specificity = tn / (tn + fp) print(f'Sensitivity: {sensitivity:.3f}, Specificity: {specificity:.3f}') fpr, tpr, _ = roc_curve(y_test, y_pred_proba) roc_auc = auc(fpr, tpr) plt.plot(fpr, tpr, label=f'gcForest AUC={roc_auc:.3f}') plt.plot([0, 1], [0, 1], 'k--') plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.legend() plt.savefig('gcforest_roc.png', dpi=120)

灵敏度和特异度是医学报告里必备的两个数；ROC 曲线可以看不同阈值下的权衡。这里的 predict 用的默认阈值是 0.5，但如果测试集里阳性和阴性比例严重失衡，0.5 并不是最优阈值。我通常会把预测概率保存下来，根据临床需求在 ROC 曲线上重新选阈值，比如“宁可多筛、不能漏诊”时，阈值可以降到 0.3。

import pandas as pd output = pd.DataFrame({'label': y_test, 'prob': y_pred_proba}) output.to_csv('gcforest_prediction.csv', index=False)

把概率和标签落盘，既方便医生复核，也方便后续做阈值移动。这个 CSV 就是第一个可提交的分类结果。

4. 调参实战：多粒度森林与级联森林的核心参数与效率瓶颈

gcForest 参数多，但真正影响医学诊断效果的集中在窗口、层数、树数量、折叠数、早停五块。这一章拿实际例子讲清楚每个参数怎么调、调高调低会怎样、以及最容易踩中的时间瓶颈。

4.1 必调参数一：window_size 窗口大小与 n_mgs_rf_tree 树数量的配合

window_size 决定多粒度扫描的视野宽度。当它在表格数据上启用时，常见经验值是特征总数的 1/2 或 1/4。比如 30 维特征，窗口可以用 15、10、7 三档；窗口越小，切片越多，特征膨胀越严重，每个切片输入给 n_mgs_rf_tree 棵随机森林。

n_mgs_rf_tree 是每个滑动位置所建森林的树数量，默认 30 或 50。整体计算量大约是“切片数 × n_mgs_rf_tree × 森林数”。在医学数据上我的做法是：先用 window_size=特征数的一半，n_mgs_rf_tree=20 跑一轮，对比不启用扫描的基线；如果 AUC 提升小于 0.01，直接放弃多粒度扫描。因为表格特征往往没有局部顺序，强行扫描常常引入噪声。

for size in [None, X_train.shape[1] // 2, X_train.shape[1] // 4]: model = CascadeForestClassifier( window_size=size, n_mgs_rf_tree=20, n_estimators=300, max_layers=10, early_stopping_rounds=3, random_state=42 ) model.fit(X_train, y_train) auc_score = roc_auc_score(y_test, model.predict_proba(X_test)[:, 1]) print(f'window_size={size}, AUC={auc_score:.4f}')

注意：window_size=None 时 gcForest 会跳过多粒度扫描，只跑级联森林。这个开关在代码里很容易被忽略，默认不一定是 None，要看具体版本。跑这个循环时，建议在每轮打印训练耗时，因为窗口越小，时间涨得越快。

4.2 必调参数二：max_layers 层数与 early_stopping_rounds 早停的止损逻辑

max_layers 是级联层的上限，early_stopping_rounds 是连续几层验证集指标不提升就终止。两者是绑定关系：max_layers 给上限，early_stopping 给实际层数。医学小样本场景，实际层数通常在 2～5 层就停了，如果一直冲到 10 层还没停，要警惕过拟合。

model = CascadeForestClassifier(max_layers=15, early_stopping_rounds=5)

层数越多，推理需要经过的森林越多，预测耗时线性增长。在实时诊断要求高的场景，我会把 max_layers 压到 5，并观察 AUC 是否明显下降。不要只看训练集 AUC，训练集上早停永远不会触发，必须用验证集评估。据我对 deep-forest 源码的观察，early_stopping_rounds 监控的是内部从训练集切出的验证集，不是你自己保留的测试集；因此不要在训练过程中反复用测试集去观察早停，否则测试集会变成“验证集”，最终结果被污染。

4.3 必调参数三：n_fold 交叉验证折数与随机性控制

gcForest 在每一层训练森林时，会对样本做 k 折交叉验证来生成下一层的概率向量。n_fold 参数默认是 5，折数大能减少概率估计方差，但训练时间近似翻倍。医学数据样本少，我用 n_fold=3 往往比 5 更稳，因为 5 折会让每折训练样本太少，树学不到充分模式。

model = CascadeForestClassifier(n_fold=3, random_state=42)

随机性控制也包括 random_state。gcForest 内部有树模型、有交叉验证切分，不固定 random_state，每次结果都可能波动。在医学诊断报告里，可复现性是底线，所以我会在项目开头就固定一个 random_state，并记录在实验配置里。如果后面要调参，固定同一个 random_state 才能让参数对比有意义；否则两次实验的差异可能来自随机种子而不是参数。

4.4 另外两个必调参数：min_samples_leaf 与 tol，以及效率瓶颈

min_samples_leaf 控制决策树叶节点的最小样本数。在医学数据上这个参数很关键：如果设成 1，树会钻牛角尖去记忆单个病例；我一般设成 2～4，避免叶节点只覆盖一个患者。tol 是早停时认为“指标没有提升”的容忍阈值，默认是 0.0001；在小样本上，AUC 波动本就大，我会调到 0.001，否则早停会被噪声卡死，白白增加层数。

效率瓶颈最常出现在多粒度扫描阶段。有个血泪经验：我曾在 500 个样本、300 个特征的数据上开了三个窗口并存，训练跑到第二个窗口就花了 40 分钟。原因是切片数 = 特征数 - 窗口长度 + 1，每个切片都要建一批森林。后来改成只保留提升最大的一个窗口，并把 n_mgs_rf_tree 从 50 降到 20，时间从 40 分钟压到 6 分钟，AUC 几乎不变。如果你跑起来发现 CPU 打满但进度条不动，先查这两个参数。

下面这张表是我在医学诊断项目里用的参数速查，可以直接抄：

如果还要进一步提升，可以用 sklearn 的 GridSearchCV 对 window_size、max_layers、n_fold 做小范围网格搜索，但注意每次搜索都会完整训练一次 gcForest，时间成本很高。我的习惯是先用上面这张表手动把模型跑到合理水平，再用随机搜索只调两三个关键参数，而不是一上来就全量网格。

5. 医学诊断避坑与常见问题排查：类别不平衡、特征泄漏、过拟合与黑匣子

这一章的价值是让你少走弯路。每条都是我在实际项目中遇到过的，按“现象 → 原因 → 解决”写清楚。

5.1 特征泄漏：训练 AUC 高达 1.0，测试集却直接崩塌

现象：第一次跑 gcForest，训练集交叉验证 AUC = 1.0，测试集 AUC 只有 0.52，第一反应是模型过拟合，但随机森林在小样本上不至于崩这么惨。

原因：我在拆分测试集之前，先用全部数据做了中位数填充和 get_dummies 编码，甚至做了标准化。填充时用到的中位数来自全量数据，把测试集信息“偷偷”揉进了训练集；标准化也用了测试集的均值和方差。泄漏让训练特征和标签之间出现虚假的绑定，测试时就露馅了。

解决：先切分，再预处理。正确的顺序是 train_test_split 之后，只用训练集计算中位数和标准差，测试集用同一套参数变换：

from sklearn.model_selection import train_test_split from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42) imputer = SimpleImputer(strategy='median') imputer.fit(X_train) X_train = imputer.transform(X_train) X_test = imputer.transform(X_test) scaler = StandardScaler() scaler.fit(X_train) X_train = scaler.transform(X_train) X_test = scaler.transform(X_test)

记住：gcForest 的树模型对特征尺度不敏感，标准化不是必须的，但预处理泄漏会让任何模型都失去意义。这个坑在医学诊断项目里最容易深夜翻车。

5.2 类别不平衡：准确率 95%，阳性召回却是 0

现象：训练结束，准确率 95.1%，看起来模型不错。结果一看分类报告，阳性样本（患病）召回率是 0，模型把所有患者都判断成阴性。

原因：医学诊断数据里患病比例通常远低于 5%，模型发现全预测阴性就能得到很高准确率。gcForest 内部的树默认用基尼系数或熵准则，在不做处理的情况下，少数类样本很难赢得分裂机会。

解决：先别调参，先解决类别权重。常见做法有三种：sample_weight 给少数类加权、SMOTE 过采样、阈值移动。deep-forest 的 CascadeForestClassifier 参数里不直接提供 class_weight（至少在我常用的版本里如此），所以我一般用 imbalanced-learn 的 SMOTE 做训练集过采样，并用带权重的评估指标：

from imblearn.over_sampling import SMOTE X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42) smote = SMOTE(random_state=42) X_train_res, y_train_res = smote.fit_resample(X_train, y_train) model = CascadeForestClassifier(random_state=42) model.fit(X_train_res, y_train_res)

SMOTE 可能会生成不合理的医学样本，如果医生不认可，退回去用 sample_weight。但无论怎么选，评估时必须回到原始测试集分布，看混淆矩阵里的灵敏度和特异度，而不是看准确率。如果你的项目不允许过采样，最简单的做法是调整预测阈值：把 predict_proba 输出的概率阈值从 0.5 降到 0.3 或更低，优先保证阳性召回。

5.3 过拟合信号：验证集 AUC 持续不动，early_stopping_rounds 失效

现象：max_layers=15，early_stopping_rounds=5，训练完打印层数是 8，但外部验证集 AUC 只有 0.58，比训练集低 0.3。明明是早停，为什么没拦住？

原因：early_stopping_rounds 在 deep-forest 里的逻辑观察的是内部切出来的验证集，而不是你自己的验证集；另一方面，gcForest 的级联层数会自动控制，但每层的树数量太多时，单层内部也会过拟合。早停只挡住层数，挡不住每层树的复杂度。

解决：做两个收紧动作。第一个，把 n_estimators 从 300 降到 100，min_samples_leaf 设为 3，减少单层容量；第二个，多保留一份完全没参与训练的 holdout 测试集，训练完成后用这份数据做最终验证，不要中途反复看它，否则它也会变成你的“验证集”，导致你对它过拟合。如果早停后依然很差，直接禁用多粒度扫描，级联森林对小样本已经足够。

5.4 黑匣子输出：gcForest 只有概率，拿不到特征重要性

现象：临床医生问“你说是这个病，是哪几个指标决定的？”我打开 gcForest 对象，发现没有 feature_importances_ 属性，只有 predict 和 predict_proba。

原因：gcForest 是级联结构，最后一层输出的是多个森林概率的平均，而不是一棵树的特征分裂次数累加。deep-forest 库没有把每一层森林的重要性做汇总，所以它本质上是个概率黑匣子。

解决：用置换重要性（Permutation Importance），原理是把某一列特征随机打乱，观察测试集 AUC 下降多少，下降越大说明该特征越重要。这是模型不可知的方法，适用于 gcForest。具体代码见第 6 章。也可以用 SHAP，但 gcForest 的预测路径复杂，SHAP 计算量更大，我一般先用置换重要性给方向，再针对少数重点特征做单变量分析，这样医生也容易理解。

6. 进阶验证：用置换重要性和小样本测试确认 gcForest 的医学诊断边界

6.1 置换重要性：判断每个特征的真实贡献

针对 gcForest 没有原生特征重要性，我用 sklearn 的 permutation_importance 做验证。以下代码在测试集上打乱每个特征，观察 AUC 下降量：

from sklearn.inspection import permutation_importance # feature_names 来自数据集的列名，比如 df.drop(columns='label').columns result = permutation_importance( model, X_test, y_test, n_repeats=10, random_state=42, scoring='roc_auc' ) for i in result.importances_mean.argsort()[::-1]: name = feature_names[i] print(f'{name}: {result.importances_mean[i]:.4f} ± {result.importances_std[i]:.4f}')

注意，model 必须是已经 fit 过的 gcForest 模型。permutation_importance 会在每个特征被随机打乱后重新 predict_proba，所以运行时间大约是原来的 N 倍。特征超过 50 个时，我会先跑一个粗糙版本（n_repeats=3）筛出前 10，再做一次精细版本，避免一等就是半小时。

6.2 小样本对比：gcForest 与 XGBoost 在 200 样本下的稳定性

医学诊断经常遇到总共只有一两百个样本的情况。我用一个模拟的 200 样本、30 特征的数据做过对比，gcForest 和 XGBoost 在train_test_split(test_size=0.3)下各跑 10 次，gcForest 的 AUC 方差明显更小。原因在于级联森林的逐层概率平均策略天然平滑了单棵树的波动，而 XGBoost 在小样本上对学习率、正则项更敏感。

如果你也遇到 200 样本级别的数据，建议把对比实验写成脚本，固定 random_state 后重复 5～10 次，记录 AUC 均值和标准差。不要只跑一次就下结论，小样本下任何模型的表现都带随机成分。

6.3 我的习惯：先跑基线、再上深度森林、最后校准概率

我的固定流程是这样：先用逻辑回归或决策树跑出基线 AUC，再用 XGBoost 和 gcForest 分别对比，最后如果 gcForest 胜出，会用 sklearn 的 CalibratedClassifierCV 对预测概率做 Platt 缩放，让概率更接近真实患病风险。这一步在医学诊断里很重要，医生不会只拿 0.7 还是 0.8 排序，他们更在意这个数能不能当作风险概率来看。

有个教训想分享：我第一次用 gcForest 时，直接跳过基线对比，调了三天窗口参数想让 AUC 从 0.80 涨到 0.85，后来发现逻辑回归只用两个特征就跑到 0.82。从那以后，所有深度模型都必须和简单基线同场竞技，否则就是自我感动。希望帮到你。

本文还有配套的精品资源，点击获取