简介：这是一份面向机器学习课程大作业、期末项目与毕业设计的3D医学影像分类实现，适合计算机、电子信息、数学等专业学生快速上手。资源包含完整的Python源代码与说明文档，覆盖数据预处理、模型训练、评估与提交等环节，能够帮助读者解决医学影像分类中的特征组织、模型搭建与结果验证问题。压缩包内共596个文件，以582个npz格式的特征数据文件为主，配合8个Python脚本、3个CSV标签与提交文件、2个pyc编译文件及1个Markdown说明文档；npz文件保存了候选区域影像特征，CSV文件对应训练标签与预测结果，整体包体约446MB，结构清晰便于按流程阅读。目前已有360人学习使用。代码采用参数化编程，关键参数可方便修改，注释明确、思路清晰，并且附带了运行结果，遇到问题可私信作者；从内容预览来看，数据文件的组织方式与常见机器学习竞赛的训练/验证/提交结构一致，适合对照演练完整的影像分类流程。
1. 3D医学影像分类：不跑3D CNN也能把大作业做扎实
拿到3D医学影像分类的期末大作业，大多数人的第一反应是找3D CNN模型跑起来。真要动手就发现卡在第一步：原始影像怎么读、GPU显存不够、训练一轮要多久，全是劝退项。这套资源的思路恰好反过来，它把三维体数据预先压缩成多个候选特征文件（npz），分类部分完全交给机器学习模型完成，普通笔记本就能跑。能解决的核心问题是：原始数据难解析、深度学习环境难配、作业结果难复现。对计算机、电子信息工程、数学等专业的课程设计和期末大作业来说，这是一条更稳的落地路线；想快速了解3D影像特征工程入门的开发者，也能从这套资源里找到完整的处理套路和报告写作素材。
2. 先看清数据和文件分工：npz、CSV和README怎么配合
2.1 文件清单：六个candidate、两份CSV和README的分工
拿到压缩包先别急着写模型，把文件平铺开看一遍。这套资源包含train_val.csv、0617.csv、sampleSubmission.csv、README.md，以及candidate409.npz、candidate222.npz、candidate307.npz、candidate61.npz、candidate452.npz、candidate364.npz六个特征文件。README.md是入口文档，优先级最高，它会交代npz里存的是什么、CSV怎么解析、训练和验证划分规则、基线的参考分数。
train_val.csv负责样本划分，通常以样本ID为索引，附上标签和train/val标记。sampleSubmission.csv是提交格式模板，列名和顺序都是固定的，后续生成预测结果时直接按它的模板写就行。0617.csv这种带日期的文件，一般是中间版本数据或补充样本表，它的定位要在README里确认清楚，别一上来就把所有CSV都当作训练标签合并进去。建议先在工程目录下建好data子目录，把原始文件统一放进去，后面所有脚本都用相对路径引用，省得换一台机器就要改一遍路径。
2.2 npz结构探查：确认几个键再去建模
npz是numpy压缩容器格式，里面很可能不是单个数组，而是多个键。第一次接触这套数据，先写几行代码把每个文件的结构摸清楚。这一步决定了后续建模的写法，非常重要。
import numpy as np data = np.load('./data/candidate409.npz') print(type(data)) # 确认是 NpzFile 而非 ndarray print(data.files) # 查看所有键名 for key in data.files: arr = data[key] print(key, arr.shape, arr.dtype)这段代码做了三件事：确认读取类型、列出所有键名、打印每个键的shape和dtype。如果打印出来是(64, 64, 3)这种图像数组，说明资源带的是二维切片图，后面需要自己做空间聚合；如果打印出来是(1024,)这种一维向量，说明是预提取好的特征，直接拼装进模型即可。还需要留意npz里是否保存了体素间距、窗口窗位这类元数据键，它们建模用不上，但写作业报告的时候是好素材，别当成噪声删掉。
2.3 标签与样本对齐：合并CSV时最容易踩的第一个坑
train_val.csv的结构通常是首列样本ID、第二列标签、第三列划分标记。先把表格读进来，确认缺失值和划分比例。
import pandas as pd meta = pd.read_csv('./data/train_val.csv') print(meta.head()) print(meta['split'].value_counts()) # 查看 train / val 分布常见比例是train约80%、val约20%。然后需要把npz文件名和CSV行对应上，candidate409对应的通常就是ID为409的样本。这里最经典的问题是：npz文件只有6个，而train_val.csv行数远多于6，说明这是一套子集特征包，不是完整训练集。面对这种情况有两个选择：一是只用这6个样本做小规模复现，把流程完全走通；二是按README指引下载完整数据集，再生成对应特征文件。做课程设计的话建议先跑通子集，再决定要不要扩数据。很多人在这里强行merge，把6行特征和几百行CSV拼接，得到一堆NaN，后面全乱。正确写法是先按ID提取特征，再对齐标签。
import numpy as np import pandas as pd ids = ['409', '222', '307', '61', '452', '364'] feat_list = [] for sid in ids: d = np.load(f'./data/candidate{sid}.npz') feat_list.append(d[d.files[0]]) # 取第一个有效键作为特征 X = pd.DataFrame(feat_list, index=ids) y = meta.set_index('id').loc[ids, 'label'] print(X.shape, y.shape)这段代码通过set_index再loc定位，保证索引严格对齐，避免因文件顺序和表格顺序不一致导致标签错位。index是字符串ID，CSV里的id列也得是字符串，类型不一致时会匹配失败。
3. 特征建模：多个候选特征如何聚合成一个设计矩阵
3.1 多候选特征包的设计意图
6个candidate不是6个样本，而是6个候选区域。医学影像比赛中，原始3D体积通常很大，直接整体喂给模型代价太高。常见做法是从每个体积中提取多个候选区域，每个候选区域用预训练网络或多尺度统计特征表示成一个固定长度的向量。也就是说，一个样本可能对应多个candidate，建模时就不能简单理解为一行一个样本。
这解释了为什么文件命名为candidate而不是sample。如果README里说明每个样本包含多个候选区域，聚合方式有三种常见套路：最大池化、平均池化、或直接拼接后交给模型。最大池化能突出最显著的局部特征，平均池化更稳定抗噪，直接拼接保留全部信息但维度更高。做课程设计时先用平均池化，分数通常够用，而且答辩时好解释。
3.2 从3D体素到数值特征：统计、纹理与深度三选一
如果npz里放的是三维数组而非预提取向量，就需要自己把体素压缩成一维特征。医学影像3D分类里最常用的三类特征如下。
第一类是统计特征，在掩膜区域内计算均值、标准差、分位数，刻画体素整体密度分布。第二类是纹理特征，比如灰度共生矩阵的能量、对比度、相关性，对肺结节、病灶这类有纹理差异的组织区分度很好。第三类是深度特征，用预训练网络提取的向量，维度通常在512或1024左右。一个基于统计特征的压缩示例如下。
import numpy as np def extract_stats(volume, mask=None): if mask is not None: voxels = volume[mask > 0] else: voxels = volume.flatten() return np.array([ voxels.mean(), voxels.std(), np.percentile(voxels, 25), np.percentile(voxels, 50), np.percentile(voxels, 75), voxels.max() - voxels.min() ]) vol = np.load('./data/candidate409.npz') key = vol.files[0] volume = vol[key] feat = extract_stats(volume) print(feat.shape, feat)volume可能是(32,32,32)的小体积，也可能是(128,128,128)的大体积，直接flatten会得到几百万维数据，不能直接作为模型输入。统计特征的作用就是把高维体素压缩到几个有物理意义的数字上。mask参数给带掩膜的版本使用，如果这套npz里有labels键，可以直接把它当mask传入。需要注意percentile计算耗时较长，大体积上建议先取采样再算分位数。
3.3 把多个candidate拼装成设计矩阵：维度、顺序、内存
建模前最后一步是把所有candidate特征合成一个大矩阵。这里要盯住三个问题：维度是否一致、样本顺序是否一致、内存是否可控。维度问题很好排查，只要所有npz采用同一套提取流程，特征维度必然相同。顺序问题要求维护一份ID列表，和CSV标签对齐。
我习惯在合并前快速打印每个文件的shape确认一遍，而不是静默合并后才发现问题。
import numpy as np IDS = ['409', '222', '307', '61', '452', '364'] FEAT_KEY = 0 # npz 中特征键的索引 rows = [] for sid in IDS: d = np.load(f'./data/candidate{sid}.npz') arr = d[d.files[FEAT_KEY]] rows.append(arr.reshape(1, -1)) # 强制变成一行，避免二维数组 X = np.vstack(rows) print('design matrix:', X.shape)这里用reshape(1, -1)把每个特征强制变成一行，避免出现(64,64)这类二维结构导致vstack后变成(6,64,64)。print出来的shape若类似(6, 1024)，说明特征矩阵成型。之后再做标准化或归一化都方便。内存方面，一套预提取特征通常只有几MB，问题不大；但如果把每个样本的原始volume全部加载进内存，6个文件也可能吃掉几个GB，这就是为什么建模要从特征而不是原始体素开始。
4. 分类器训练与参数化：拿到稳定可复现的分数
4.1 选LightGBM而不是神经网络的三个理由
在预提取特征基础上，强烈建议用LightGBM而不是MLP或CNN。第一个理由是数据量，6个样本根本撑不起神经网络训练，但LightGBM在小数据上配合交叉验证可以得到合理基线。第二个理由是调试成本，LightGBM参数解释性强，过拟合时调num_leaves和feature_fraction就够，神经网络则要从结构、学习率、正则、早停多个维度一起试。第三个理由是作业答辩，GBDT可以直接输出特征重要度，能清楚解释哪个候选特征、哪个统计量对分类贡献最大，而CNN的可解释性差得多，讲不明白就容易被追问。
4.2 五折交叉验证和训练脚本
处理6个样本时，五折交叉验证意味着每折验证集只有1到2个样本，波动会很大。更稳妥的做法是先按train_val.csv的split列作为官方验证划分，训练集内部再做分层切分。下面是一个可直接跑的训练脚本。
import numpy as np import lightgbm as lgb from sklearn.model_selection import StratifiedKFold from sklearn.metrics import roc_auc_score X = np.load('./cache/X.npy') y = np.load('./cache/y.npy') params = { 'objective': 'binary', 'metric': 'auc', 'learning_rate': 0.05, 'num_leaves': 15, 'max_depth': 4, 'feature_fraction': 0.8, 'bagging_fraction': 0.8, 'bagging_freq': 1, 'verbose': -1, 'seed': 42 } skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) oof = np.zeros(len(X)) for fold, (tr, va) in enumerate(skf.split(X, y)): dtr = lgb.Dataset(X[tr], y[tr]) dva = lgb.Dataset(X[va], y[va]) model = lgb.train(params, dtr, num_boost_round=200, valid_sets=[dva]) oof[va] = model.predict(X[va], num_iteration=model.best_iteration) print(f'fold {fold} auc = {roc_auc_score(y[va], oof[va]):.4f}') print('oof auc =', roc_auc_score(y, oof))参数方面，num_leaves=15控制树的复杂度，这是偏保守的值，防止在6个样本上过拟合；feature_fraction=0.8表示每棵树只用80%的特征，相当于加随机性；bagging_fraction=0.8做行采样，进一步降低方差。learning_rate=0.05配200轮是常规组合，训练很快。seed=42保证复现，换seed分数会有波动，这是正常现象。如果AUC在0.7以下也别慌，6个样本的验证集本身波动就大，多看几个seed的平均分更真实。
4.3 用sampleSubmission生成可提交的预测
训练完成后按作业或比赛要求输出预测。先把测试特征按相同的特征提取流程生成X_test，再写文件。
import pandas as pd sub = pd.read_csv('./data/sampleSubmission.csv') sub['pred'] = model.predict(X_test) # X_test 由同样的特征流程生成 sub.to_csv('./submission.csv', index=False)要点是列名、列顺序和sampleSubmission保持一致。很多提交失败的案例都是因为把索引写进了输出文件。另外，0617.csv如果也是提交格式，建议和sampleSubmission对比一下列名，说不定只是预测目标列不同。
5. 避坑：5个让成绩翻车的细节
5.1 npz读进来不是数组
现象：print(np.load('candidate409.npz'))得到的是NpzFile对象，直接访问shape报错。
原因：npz是压缩容器，可以存储多个键，必须先指定键名再取数组。
解决：统一用data[data.files[0]]取值。注意有的npz键不止一个，务必先打印files确认。
5.2 样本ID不一致导致全NaN
现象：特征矩阵和标签合并后全是NaN，模型训练直接报错。
原因：CSV中ID是字符串，特征索引是整数，或者两者顺序不一致。
解决：合并前统一转成str，用set_index后loc对齐，不要依赖concat的自动对齐。
5.3 K折前不shuffle导致类别全在一个折
现象：某一折训练集只剩一个类别，lightgbm训练报错或AUC恒为0.5。
原因：原始CSV的类别排列集中，数据没有打乱。
解决：StratifiedKFold必须设置shuffle=True并固定random_state，不要用默认参数。
5.4 验证AUC高但最终效果差
现象：本地交叉验证AUC有0.8，提交线上只有0.6。
原因：验证集分布和测试集不一致，或者子集样本太少导致指标虚高。
解决：以train_val.csv的官方划分为准，不要自己随机制造验证集。报指标时说明用的是6样本子集，避免误读。
5.5 特征重复写入内存溢出
现象：循环里加载所有npz后内存爆掉，进程被系统杀掉。
原因：NpzFile对象持有文件句柄，数组没及时释放。
解决：加载后立即提取需要的数组存成npy或写回磁盘，用del和gc.collect()释放，别让句柄堆积。
6. 进阶：把整套流程压缩成一条可复现的运行脚本
做特征对比实验时最怕什么？怕改了模型参数后，特征从头又跑一遍，更怕特征流程本身版本混了。我的做法是把特征读取缓存起来，用样本ID生成哈希作为缓存键，这样改模型参数重跑时，特征矩阵直接命中缓存，省去重复加载npz的时间。
import hashlib import os import numpy as np def feature_cache(ids, cache_dir='./cache'): os.makedirs(cache_dir, exist_ok=True) key = hashlib.md5(''.join(ids).encode()).hexdigest() path = f'{cache_dir}/X_{key}.npy' if os.path.exists(path): return np.load(path) rows = [] for sid in ids: d = np.load(f'./data/candidate{sid}.npz') rows.append(d[d.files[0]].reshape(1, -1)) X = np.vstack(rows) np.save(path, X) return X这个技巧的价值在模型调参阶段特别明显。LightGBM的参数组合试十几组很常见，每组都重读一遍npz虽然不慢，但容易在读文件上出错；走了缓存之后，特征只计算一次，后面所有实验都从npy加载，速度更快，结果也一致。如果还想更严谨，可以再写一个parameters.json，记录当前实验的超参数和特征版本号，这样答辩时展示的实验记录表顺手就能生成，不用临时回忆。
从那以后，我每次拿到新的影像特征数据，都强制自己先写这套缓存管线再开始建模。磨刀不误砍柴工，这套资源里最值得吸收的不只是某个模型跑通，而是把数据读取、特征聚合、模型训练、结果导出串成一条清晰路径的意识。希望帮到你。
本文还有配套的精品资源，点击获取
