基于Jupyter的糖尿病视网膜病变分级：ResNet50迁移学习实战

简介：卷积神经网络（CNN）是医学图像分析的核心技术之一，其通过多层特征提取实现病变的自动识别。在医学影像样本有限的情况下，迁移学习成为提升模型性能的关键策略——利用ImageNet预训练权重初始化网络，再以眼底彩照进行微调，可有效解决小样本训练难题。该技术路线已被广泛应用于糖尿病视网膜病变（DR）的自动分级任务中，通过将眼底图像映射至0-4级病变程度，辅助医生进行筛查与诊断。基于Jupyter Notebook的工程化实现，能够完整覆盖数据预处理、模型训练、评估与可视化全流程，提供可复现的医学图像分类方案。本文以ResNet50为例，详细阐述从数据准备、迁移学习训练到Grad-CAM可视化的实践细节，为医学图像方向的毕业设计提供参考。 糖尿病视网膜病变（DR）是糖尿病最常见的微血管并发症之一，也是全球工作年龄人群致盲的首要原因。这个基于Jupyter的毕设项目，本质上是做了一件事：用卷积神经网络对眼底彩照做自动分级，判断病变属于哪一期。它把从数据处理、模型训练到结果可视化的完整流程都装进了一套可复现的工程里。如果你正好在准备医学图像相关的毕设或课程项目，这篇内容可以帮你少踩很多坑。

我按照自己当年做类似项目时的思路，把整个项目从设计理念到落地细节拆开讲，顺便把那些文档里一般不写、但实际操作一定会遇到的坑也一并列出来。

1. 项目整体设计与技术选型思路

先聊最核心的问题：为什么这个项目适合作为毕业设计，以及为什么技术栈是Jupyter + Python + 深度学习这几样搭配。

1.1 为什么用Jupyter而不是IDE

Jupyter Notebook在这个项目里的优势不是写代码效率高，而是过程可记录、结果可展示。

医学图像分类项目通常不是一次写出完整脚本就跑通的，中间会反复试实验：换预训练模型、调学习率、看某类样本有没有被分错。Jupyter的单元格执行模式非常适合这种探索式工作流：每一个处理步骤、每一张训练曲线图、每一次预测结果都留在Notebook里，导师一眼就能看懂整个思考过程，不用去翻几十个.py文件。

而且对于毕业设计来说，最终答辩时直接展示Notebook里的执行过程和可视化图表，比打开一个黑乎乎的终端窗口跑训练要有说服力得多。我的建议是：实验阶段用Notebook跑通全部流程，最后再抽一个干净的.py脚本放进源码里，两者不冲突。

1.2 核心任务拆解：分类而不是检测

糖尿病视网膜病变的诊断有多种切入点。有人做微血管瘤检测，有人做出血点分割，这个项目选择的是严重程度分级，也就是把一张眼底图映射到0-4级（或简化为二分类），这种方案在公开数据集上最容易验证，也最容易讲清楚实验结论。

任务定义清楚了，后面的网络结构选择才有依据。分级任务本质上是图像分类，最合适的就是卷积神经网络。你不需要去写什么复杂的自定义网络，直接用现成的分类骨干网络做迁移学习就能达到不错的效果。项目里用的ResNet50是经验之选——它足够深，能学到复杂的病理纹理特征，又比EfficientNet这些更贴近教科书上的经典结构，写进论文里更容易解释。

1.3 迁移学习为什么是必选项

医学图像数据集和大规模的ImageNet相比，样本量小了不止一个数量级。公开的糖尿病视网膜病变数据集，训练集通常只有几千到几万张，这点数据量不足以从头训练一个深层CNN。

迁移学习的思路是：先在ImageNet这种千万级数据集上预训练，让网络学会通用的边缘、纹理、形状等底层特征，然后拿这些特征作为起点，用眼底图像做微调。

有人可能会担心：ImageNet里都是猫猫狗狗日常物体，和眼底图像差异那么大，迁移学习还有用吗？实测下来是有的。因为卷积神经网络的前几层学到的是非常底层的视觉特征，比如边缘方向、颜色块、纹理重复模式，这些特征在任何图像上都通用。真正需要重新学习的只是后面的高层语义特征。

当然，也不是说拿过来就能用，关键有几个坑：一是ResNet50的输入尺寸是224x224，但原图是几千像素的高清眼底图，直接硬压缩会丢失微小的病理细节；二是预训练权重里ImageNet的归一化参数必须保留，用错均值方差会让训练一开始就出问题。这些细节在第三节里细说。

2. 数据集准备与预处理细节

这个项目的完整程度很大一部分体现在数据处理上。模型结构可以照搬开源仓库，但数据处理好坏直接决定最终准确率的上限。

2.1 数据集来源与选型对比

我实测常用的公开眼底数据集有三个：APTOS 2019、EyePACS和Messidor-2。

APTOS 2019是我最推荐使用的，它在Kaggle上公开，包含3662张训练图，标注是0-4共5个等级（0表示无病变，1-4分别对应轻度NPDR、中度NPDR、重度NPDR和PDR）。图像已经做过裁边和统一尺寸处理，质量比较整齐。EyePACS的数据量更大，超过35000张，但噪声也大，很多图像拍摄质量差、标注争议多，处理起来非常费时间。Messidor-2是法国公开数据集，标注质量好但需要申请，流程相对麻烦。

如果你在答辩时被问到"为什么选这个数据集"，可以回答：APTOS 2019已经有明确的等级标注标准，且数据集本身是经过筛查的、可用于学术研究的公开资源，能保证实验可复现。

2.2 数据读取与标签处理

项目文件里通常会有一个train.csv之类的标注文件，包含id_code和diagnosis两列。读取逻辑很简单：

import pandas as pd df = pd.read_csv('train.csv') print(df['diagnosis'].value_counts()) # 输出示例： # 0 1805 # 2 999 # 1 370 # 4 295 # 3 193

注意看这个类别分布，五分类存在明显的类别不平衡：0类（正常）比其他类多出好几倍。如果不处理直接训练，模型会倾向于把所有样本都预测成0类，整体准确率看起来还挺高，但3级和4级的召回率会惨不忍睹。这对医学类项目来说是不可接受的——漏掉一个重症患者的代价远高于把正常人多检查一次。

最常见也最简单的方案是加权采样。在DataLoader里给每个类别设置采样权重，让每轮epoch里每个类被抽到的概率接近均等：

from torch.utils.data import WeightedRandomSampler class_counts = df['diagnosis'].value_counts().sort_index().values class_weights = 1.0 / class_counts sample_weights = [class_weights[label] for label in df['diagnosis']] sampler = WeightedRandomSampler(sample_weights, num_samples=len(df), replacement=True)

如果用Keras/TensorFlow，就用class_weight参数来设定权重，效果是一样的。

2.3 图像预处理的关键细节

图像预处理直接决定了训练能不能收敛、收敛得快不快。

第一步是统一尺寸。ResNet50默认输入是224x224，但很多项目实践表明，用299x299或者384x384效果会更好，因为眼底图像中的微血管瘤、棉絮斑这些病理特征非常细小，分辨率太低会把它们直接抹掉。我在实验里对比过，224x224跑出来的验证集AUC大约是0.93，提升到299之后能到0.95左右。代价是训练时间增加约40%，对毕设来说这个交换是值得的。

第二步是归一化。ImageNet预训练模型的归一化参数是mean=[0.485,0.456,0.406]，std=[0.229,0.224,0.225]，注意这个参数是固定在ImageNet上统计出来的，迁移学习时不能改。如果改了会对权重初始化造成错位。

第三步也和医学图像有关：眼底图像有一个特点是中心亮、边缘暗，很多数据集还带有黑色的圆边。如果不处理，模型很容易学到"边缘是不是黑的"这种伪特征。常规做法是先用圆形遮罩把眼底区域裁剪出来，再进行尺寸缩放：

import cv2 import numpy as np def crop_eye_region(image): # 将图像转为灰度，通过阈值找到眼底圆盘轮廓 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) _, binary = cv2.threshold(gray, 10, 255, cv2.THRESH_BINARY) contours, _ = cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return image max_contour = max(contours, key=cv2.contourArea) x, y, w, h = cv2.boundingRect(max_contour) return image[y:y+h, x:x+w]

2.4 数据增强策略

医学图像领域的数据增强和自然图像不太一样，要对"翻转会不会改变医学含义"保持敏感。

比如左右翻转，在眼底图像上是合理的，因为左右眼结构对称，病变在这张图上出现在左侧还是右侧不影响分级。旋转和细微尺度缩放也安全。但像随机裁剪这种增强要谨慎使用——如果裁剪的幅度太大，可能把关键病灶区域裁掉，导致标签失真。

我习惯的增强组合是：水平翻转（概率0.5）、水平+垂直翻转（概率0.25）、随机旋转±30度、小范围缩放（0.9-1.1）、色度微调（HSV空间的小抖动）。不使用随机擦除和强形变。

另外，逻辑上增强应该应用在图片送入模型之前，而不是预先做离线增强。离线增强会把所有图存到磁盘里，增加不止一倍的存空间，而且每个epoch看到的增强数据是固定的，反而比在线增强更容易过拟合。

3. 模型构建与训练实操

这个部分是整个项目的技术核心，我把代码结构、训练策略和参数选择都展开讲一遍。

3.1 模型结构：在ResNet50上做迁移学习

使用PyTorch的话，模型构建代码非常简洁：

import torch import torch.nn as nn import torchvision.models as models class DRClassifier(nn.Module): def __init__(self, num_classes=5, pretrained=True): super().__init__() self.backbone = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V1) in_features = self.backbone.fc.in_features self.backbone.fc = nn.Sequential( nn.Dropout(0.5), nn.Linear(in_features, num_classes) ) def forward(self, x): return self.backbone(x)

替换最后的全连接层时有一个细节值得说：原来的fc层是Linear(2048,1000)，我们把1000维的ImageNet分类输出替换成5维的分级输出。在fc之前加上一个Dropout层可以缓解全连接层的过拟合问题，医学数据本身噪声大，这层Dropout很有效。

如果你想做对比实验，比较推荐的模型候选是ResNet34、ResNet50、EfficientNet-B3。ResNet34更轻量但效果稍弱，EfficientNet-B3在相同FLOPs下精度更高，但调参要更细腻，吃显存也更重。特别提醒：如果机器显存不够（小于6GB），优先考虑ResNet34，别硬上ResNet50。

3.2 训练策略：分阶段微调

训练策略上，我强烈推荐"冻结主干、先训分类头、再解冻微调"这个三步法，不要一步到位直接全量微调。

第一步，把backbone里所有参数都冻结，只训练新加的全连接层，跑5个epoch。这一步相当于让随机初始化的分类头先学会在预训练特征上做分类，避免在训练初期用巨大梯度去破坏预训练权重。

第二步，解冻最后一个残差块（layer4），连同分类头一起训练，用较小的学习率，跑10-15个epoch。在这一步，模型开始把更高层的特征往眼底图像的特征空间上适配。

第三步，如果数据量比较充足或者第二阶段loss还在明显下降，可以考虑解冻更多层，全量微调3-5个epoch。

实现冻结和解冻的代码逻辑：

for param in model.backbone.parameters(): param.requires_grad = False # 第一步只训练fc层 optimizer = torch.optim.Adam(model.backbone.fc.parameters(), lr=1e-3) # 第二步解冻layer4 for param in model.backbone.layer4.parameters(): param.requires_grad = True optimizer = torch.optim.Adam([ {'params': model.backbone.fc.parameters(), 'lr': 1e-3}, {'params': model.backbone.layer4.parameters(), 'lr': 1e-4} ])

学习率使用余弦退火或者ReduceLROnPlateau都可以，实测下来ReduceLROnPlateau在医学图像上的稳定性更好——因为它按验证集表现来降低学习率，不容易在epoch末尾冲过头。初始学习率在第一阶段用1e-3，微调阶段用1e-4或5e-5，这是个体力活，建议用上面说的分段策略，不要一上来就学别人用1e-4全量训练。

3.3 训练过程中的监控指标

训练医学分类模型，不要只盯着准确率看。在类别不平衡的情况下，准确率是严重失真的指标。我在前面章节提过，如果正常样本占70%，模型全预测为正常也有70%准确率，这个模型实际上对重症患者完全无效。

所以我在训练循环里同时监控以下指标：

• 敏感度（Sensitivity）/召回率：真实重症样本中被正确预测出来的比例。这个指标对医学诊断最重要，宁可误判也不能漏判。
• 特异性（Specificity）：正常样本中正确判为正常的比例，用于衡量误报率。
• AUC：综合评价模型在不同阈值下的表现，适合跨类别比较。
• Kappa（科恩卡帕系数）：在APTOS竞赛中就是这个评价标准，衡量的是模型预测和医生标注的吻合度，比准确率更适合有序分类问题。

在每个epoch结束时计算这些指标，并保存验证集loss最低的模型权重。这里踩过一个坑：如果不加限制地保存"准确率最高"的模型，往往保存下来的是那个把所有样本预测成0类的模型。一定要用loss或AUC作为模型选择的依据。

3.4 训练参数参考值

贴一份我在单个RTX 3060（12GB显存）上实测能跑通的参数配置：

4. 模型评估与可视化分析

训练完成之后，如何把模型的性能客观地展示出来，决定毕设文档的说服力。这个环节不需要那么多代码，但需要你对"怎么讲故事"有清晰思路。

4.1 混淆矩阵与核心指标

在测试集上跑完预测后，第一件事是画出混淆矩阵。混淆矩阵可以直观地展示哪些类别容易混淆。常见现象是1级（轻度NPDR）和2级（中度NPDR）之间大量混淆，这是因为轻度和中度的边界在临床上本身就模糊，医生标注都可能不一致。如果看到了这种混淆，不用慌，可以在论文里把它作为"任务本身具有挑战性"的论据。

核心指标建议用sklearn.metrics一键计算：

from sklearn.metrics import classification_report, cohen_kappa_score, roc_auc_score print(classification_report(y_true, y_pred)) kappa = cohen_kappa_score(y_true, y_pred, weights='quadratic') print(f'Quadratic Kappa: {kappa:.4f}')

**二次加权Kappa（Quadratic Weighted Kappa）**是眼底图像分级领域最常用的指标，它考虑到分级是有序的——预测成相邻等级比预测成相隔很远的等级"错误更小"。

4.2 把预测结果可视化

光是输出一堆数字指标不够直观，医生和答辩老师更想看的是"模型到底看哪里做出了判断"。我强烈建议在项目中加一个Grad-CAM（梯度加权类激活映射）可视化模块。

Grad-CAM的思路是：找到最后一个卷积层的特征图，用类别对应的梯度给特征图做加权，把加权结果上采样到原图像尺寸，叠加成热力图。热力图亮的区域就是模型做出判断时最关注的区域。

from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.model_targets import ClassifierOutputTarget cam = GradCAM(model=model, target_layers=[model.backbone.layer4[-1]], use_cuda=True) target = [ClassifierOutputTarget(pred_class)] grayscale_cam = cam(input_tensor, targets=target)

把热力图叠加到原图上，你会看到模型确实在关注血管区域、出血点、渗出斑块。这个可视化不只在答辩时加分，在调试阶段也很有用——如果某个样本被预测错了，通过热力图能分析出模型是不是关注了图像上的噪声区域（比如照相机反光、图像边缘）。

4.3 错误样本分析：毕设论文的差异化亮点

大部分毕设做到评估指标就停了，但作为过来人我提醒你：错误样本分析是让毕设从"做得对"变成"做得好"的关键一步。

具体操作：从测试集找出所有预测类别和真实类别不一致的样本，逐张汇总分析。通常你会发现几类典型的错误模式：

• 图像质量差（模糊、曝光不足、有遮挡）
• 病变处于早期，特征非常微弱
• 病灶出现在视网膜周边区域，主模型没有关注到
• 左右眼混淆导致的语义特征偏差

在论文里把这些错误模式总结成表格或者示例图，然后提出"未来工作"的方向——比如引入图像质量评估模块、使用多尺度特征融合、或者用注意力机制强化周边区域的特征权重。这个部分可以让研究方向有深度，答辩时老师问"你的工作还有什么不足"，你就有了一个有理有据的回答。

5. 常见问题与排查技巧实录

这部分内容是我实际跑这个项目时踩过的坑，有些问题是百度都搜不太到明确答案的，写下来供参考。

5.1 Jupyter环境相关的坑

Jupyter Notebook里训练模型时内核无响应/崩溃

这几乎是100%会碰上的问题。最常见的原因是内存溢出：数据集被一次性加载到内存，或者数据增强时中间变量太多占满了内存。解决办法有两个方向：

• 不要一次性resize所有图片再存成numpy数组，改成在Dataset类里做预处理，每次只处理当前batch的图片。
• 设置torch.cuda.empty_cache()，在每个epoch结束后清理缓存GPU显存碎片。

另外，Jupyter内核崩溃后之前的变量会全部丢失，代码虽然还在但模型状态没了。实用的做法是：每跑完一个阶段就保存checkpoint，不要等整个训练跑完再一次性保存。

DataLoader在Windows下报多进程错误

Jupyter在Windows下用DataLoader(num_workers>0)经常报BrokenPipeError。这个是PyTorch在Windows上多进程的已知坑。解决办法：把num_workers设为0（慢但稳定），或者在训练代码外层加if __name__ == '__main__':保护。更推荐的做法是：在Jupyter里直接设num_workers=0，等实验稳定后再把训练代码整理成.py脚本，在脚本里用num_workers=4。

5.2 数据与训练过程异常

训练一开始loss就是NaN

导致NaN的原因主要有：学习率过大（常见于Adam+1e-2以上）、数据归一化没做好导致梯度爆炸、标签里包含NaN值。排查顺序：先检查df['diagnosis']是否有缺失值，再用小学习率（1e-5）跑一两个batch看loss是否正常，能跑后再逐步把学习率调回去。

验证集AUC一直卡在0.85左右上不去

我遇到这个现象时，折腾了很久调参都没有大提升。后来仔细检查发现是数据划分出了问题——训练集和测试集是在同一个人多次就诊的图像之间划分的，存在信息泄露，导致验证结果虚高。解决方法是按患者ID分组划分数据集，确保同一患者的所有图像只在训练集或测试集一边。因为眼底图像分类的目标是判断"新患者"的病情，不是判断"看过的患者"的病情。

过拟合严重，训练集准确率接近100%但验证集只有80%

这是医学小数据集上的典型问题，应对手段按优先级排序：增强数据增强强度（增加旋转角度和色度抖动）、加大Dropout率（从0.5调到0.6）、减少Trainable层数（退回到只训练FC层+layer4的last block）、引入Label Smoothing（torch.nn.CrossEntropyLoss(label_smoothing=0.1)）。

5.3 训练效率优化

如果训练一个epoch需要很长时间，除了换GPU，还可以做两件事。第一，检查数据加载是不是瓶颈：在训练循环里加一个简单的计时，如果加载一个batch的时间超过模型forward+backward的时间，那就该用num_workers>0+pin_memory=True或者把图像预先resize到较小的临时目录。第二，开混合精度训练（AMP）：在支持Tensor Core的显卡上可以提速约40%-60%，显存占用也略有下降，对图像分类任务精度影响非常小。

6. 毕业设计的文档撰写与答辩准备

最后聊一下，模型、代码都跑通了之后，怎么把项目转换成一份高质量的毕设文档。

6.1 文档结构建议和写作重点

毕设说明书通常在1.5万字到3万字之间，我的建议结构是：

• 绪论/背景：写清楚糖尿病视网膜病变的医学背景和筛查困境，引出课题的研究意义。这里要引真实数据，比如全球糖尿病患者人群中DR的患病率，注意引用来源要可查。
• 相关工作：不要把相关工作的篇幅写太长，重点是分类梳理，比如传统机器学习方法（SVM/HOG特征）和深度学习方法（从AlexNet到ResNet的演进），弱化堆砌论文综述，强化对课题的承接。
• 系统设计：这部分是整个文档的核心，详细描述"数据→预处理→模型→训练→评估→可视化"的完整链路。每个模块配代码核心片段、输入输出描述和设计理由。
• 实验与结果：用表格列出各模型对比（ResNet34 vs ResNet50 vs EfficientNet）、各数据增强策略的消融实验、混淆矩阵和指标。多做消融实验是提高毕设含金量的最经济手段。
• 总结与展望：客观总结项目的优势和不足，展望方向要具体一点。

写文档时最容易被忽视的一点是：所有图表都必须有对应说明和解读。图表标题规范统一，不要出现"实验结果"这种空泛标题，而是写"表4-2：三种模型在APTOS 2019测试集上的AUC对比"，图的横纵坐标、图例、单位一个都不能少。

6.2 答辩前需准备的核心问答

模拟一下答辩老师最可能问的方向：

• 为什么要做多分类而不是二分类——因为临床上有5级分级标准，多分类信息更丰富；如果需要筛查场景，可以退化成二分类。
• 为什么选择ResNet50而不是更新的模型——因为它在精度和资源消耗之间平衡好，且结构经典，易于解释；如果数据量更充足可以尝试更大的模型。
• 怎么验证模型的泛化能力——通过交叉验证、按患者分组划分数据、在另一个独立数据集上做外部验证。
• 如果数据增加，模型效果会更好吗——理论上会，但也要考虑噪声数据的影响；实际中可以设计增量实验验证。

6.3 关于项目目录的整理

最后给一个我调试多次后觉得最舒服的项目结构，建议直接照抄：

DR-Detection/ ├── data/ │ ├── train_images/ │ └── train.csv ├── notebooks/ │ ├── 01-data-exploration.ipynb │ ├── 02-training-resnet50.ipynb │ └── 03-evaluation-and-visualization.ipynb ├── src/ │ ├── dataset.py │ ├── model.py │ ├── train.py │ └── evaluate.py ├── models/ │ ├── resnet50_best.pth │ └── training_log.csv ├── output/ │ ├── confusion_matrix.png │ └── grad_cam_samples/ ├── docs/ │ ├── 开题报告.docx │ ├── 中期报告.docx │ └── 毕业论文.docx ├── requirements.txt └── README.md

注意一个细节：数据目录和模型权重文件不要直接放在Git仓库里。数据集动辄几个GB，Git根本追不动；模型权重也很大，适合放网盘连接，并在README里写清楚下载和解压方式。源码仓库里只保留必要代码和README说明，这样导师或评审老师拿到手里也方便运行。

我做这个项目时的一些体会

整个项目做下来，我发现最有价值的并不是最终精度那个数字，而是这套"问题定义——数据组织——模型选择——实验迭代——结果表达"的完整流程。把一个开放性的医学问题转化成机器可以学习的分类问题，中间需要大量工程细节，比如数据划分方式、采样策略、评估指标选择，这些环节在标准的深度学习教程里很少系统讲清，但它才是决定一个项目能不能落地的关键。

如果你也打算做类似的医学图像方向，我的建议是：先跑通一个小模型的全流程，再逐步扩大数据和模型规模。第一次就把ResNet50从零开始完整训练，大概率会在数据处理阶段就被搞崩。先小后大，先简后繁，每一步看到结果再走下一步，这是最稳妥的路径。

最后一个小提示：训练代码里一定要把随机种子固定好，包括PyTorch、NumPy和Python自带的random。这样实验结果才可复现，写论文的时候也经得起推敲。这个细节我一开始也没注意，后来发现同一次实验跑两次结果差不少，排查半天才想起来是随机种子的问题。

本文还有配套的精品资源，点击获取