简介：面向茶叶叶片病害识别与图像分类实验，这份数据集提供了覆盖褐枯病、灰枯萎病、红点病等5个常见类别的已标注叶片图像，适合计算机视觉初学者、农业信息化研究者及CNN模型调优人员使用。数据已划分为训练集、验证集和测试集，各类别图片按目录存放，并附有json配置文件说明具体标签对应关系，同时提供show.py脚本方便一键可视化样本，整体结构清晰，能直接接入PyTorch/TensorFlow等训练流程。资源包共2000个文件，主体为1998张jpg图像，另含1个Python脚本与1个json标注文件，压缩后大小约21.68MB，下载与解压均很轻量。目前已有104人学习下载。借助该数据集可快速完成茶叶病害分类的基准实验，也可结合作者博客中CNN分类网络改进思路，针对性优化模型结构，提升不同病害类型的识别精度，无论是课程设计、论文实验还是竞赛实践均能快速上手。
1. 常规茶叶叶片病害图像分类数据集：为什么 4,000 张已标注图片比 40,000 张原始图片更值钱
做图像分类的人大概都经历过这种尴尬：模型结构换了好几个，预训练权重加载了一堆，验证集精度就是卡在 90% 上下不去。最后查来查去，问题往往不在代码，而在数据本身。特别是农业场景下的叶片病害分类，背景杂乱、光照不均、病斑大小差异悬殊，数据要是没经过筛选和标注，模型学到的很可能只是“叶片在画面中间”这个特征，跟病害本身没多大关系。
这个数据集的核心价值在于一个容易被低估的数字：4,000 张。对常规茶叶叶片病害分类这个细分场景来说，4,000 张已标注图片刚好卡在一个“够用”的区间。少于 2,000 张，深度学习模型容易过拟合，得靠大量数据增强硬撑；多于 10,000 张，标注成本翻几倍，但对精度提升的边际贡献已经很有限。而且它带的是“已标注”这个定语，意味着拿到手可以直接训练，不用自己花一两周去做 LabelImg 标注或格式转换。
这篇内容就是围绕这个数据集讲清楚三件事：它是什么、怎么用最快跑通、哪些地方容易踩坑。我所有参数和步骤都是基于常规图像分类任务的实际经验，不涉及具体项目源码，但保证照着做能复现一条完整的数据处理到训练验证的链路。适合正在做农业图像分类、植物病害识别，或者想在 yolov8、ResNet 这类模型上快速验证数据质量的工程师。
2. 数据集选型与预处理：4,000 张图片怎么组织才能直接喂给分类模型
2.1 先看标签分布：类别不平衡是第一个隐藏陷阱
拿到任何已标注数据集，第一件事不是看图片长什么样，而是统计标签分布。茶叶叶片病害种类通常包括茶饼病、炭疽病、云纹叶枯病、赤星病、白星病等，再加上一张健康叶片。4,000 张如果平均分配，每个类别大概 500 张左右，但在实际采集过程中往往会出现某些类别偏多、某些类别只有两三百张的情况。
import os from collections import Counter # 假设目录结构为 dataset/train/类别名/图片.jpg train_dir = "dataset/train" labels = [] for class_name in os.listdir(train_dir): class_path = os.path.join(train_dir, class_name) if os.path.isdir(class_path): img_count = len(os.listdir(class_path)) labels.append((class_name, img_count)) for name, count in sorted(labels, key=lambda x: x[1], reverse=True): print(f"{name}: {count}")这段代码的输出直接决定后面的训练策略。如果发现某个类别只有 200 张而另一个有 800 张，就需要在采样时做权重调整。参数上常用的做法是给少数类更高的采样概率，PyTorch 里通过 WeightedRandomSampler 实现，权重设为1/类别样本数再归一化就行。注意不要做简单的过采样复制，容易导致模型对少数类过拟合，反而损害泛化能力。
同时要留意数据集的目录组织方式。大多数框架默认从目录结构推断标签，一个类别一个文件夹是最省事的格式。如果数据集是 CSV 加图片路径的形式，就需要自己写映射关系，这一步耗时不多，但很容易在路径分隔符上翻车，Windows 和 Linux 混用时尤其明显。
2.2 统一图像尺寸：你怎么 Resize，模型就怎么看叶片
4,000 张图片在分辨率上几乎不可能是整齐划一的。采集设备可能是手机、数码相机、甚至扫描仪，常见的分辨率从 500x500 到 4000x3000 都有。训练前必须统一尺寸，否则 DataLoader 会直接报错。
from PIL import Image import os input_root = "dataset/raw" output_root = "dataset/resized_224" target_size = (224, 224) os.makedirs(output_root, exist_ok=True) for class_name in os.listdir(input_root): class_input = os.path.join(input_root, class_name) class_output = os.path.join(output_root, class_name) os.makedirs(class_output, exist_ok=True) for img_name in os.listdir(class_input): img_path = os.path.join(class_input, img_name) try: img = Image.open(img_path).convert("RGB") img = img.resize(target_size, Image.BILINEAR) img.save(os.path.join(class_output, img_name)) except Exception as e: print(f"处理失败: {img_path}, 错误: {e}")这里有两个参数值得说。第一是目标尺寸，224x224 是 ResNet、VGG 的标准输入，EfficientNet 系可以用 240 或 260，MobileNetV3 支持 224 也能跑 192。第二是插值方式，Image.BILINEAR是通用选择，如果做的是病斑细节识别，建议换Image.LANCZOS，保留边缘信息更好，代价是处理速度慢一些。
值得注意的另一个点是比例失真问题。直接 resize 会把椭圆形的病斑拉变形，我的习惯是先做短边填充再裁剪到目标尺寸，而不是直接拉伸。用 ImageOps.pad 方法可以保持纵横比，配合白色或灰色底色填充，比暴力 resize 在精度上通常高 0.5 到 1 个百分点，这在只有 4,000 张数据的情况下差距会非常明显。
2.3 划分训练集与验证集：随机划分是及格，按图像来源划分是优秀
很多初学者直接把数据集按 8:2 随机切成训练集和验证集，这在叶片病害场景下风险不小。同一个叶片可能被拍了很多张不同角度的照片，随机划分后这些照片会同时出现在训练集和验证集里，验证分数虚高，真正部署到田间时发现效果远不如预期。
import random import shutil import os source_dir = "dataset/resized_224" train_dir = "dataset/split/train" val_dir = "dataset/split/val" val_ratio = 0.2 random.seed(42) os.makedirs(train_dir, exist_ok=True) os.makedirs(val_dir, exist_ok=True) for class_name in os.listdir(source_dir): class_path = os.path.join(source_dir, class_name) images = os.listdir(class_path) random.shuffle(images) val_count = int(len(images) * val_ratio) val_images = set(images[:val_count]) os.makedirs(os.path.join(train_dir, class_name), exist_ok=True) os.makedirs(os.path.join(val_dir, class_name), exist_ok=True) for img in images: src = os.path.join(class_path, img) if img in val_images: dst = os.path.join(val_dir, class_name, img) else: dst = os.path.join(train_dir, class_name, img) shutil.copy2(src, dst) print("划分完成，使用 random.seed(42) 保证可复现")random.seed(42)这个参数容易被忽略，但它决定了实验的可复现性。不固定种子的话，每次划分结果不同，两次实验的精度差异可能被误认为是模型改动带来的。遇到环境要求严格的情况，可以用 sklearn 的train_test_split配合stratify=y，按类别比例分层抽样，保证每个类别在训练集和验证集中的占比一致。
如果原始数据是按时间或地块组织的，还可以考虑按采集批次划分。比如用前 3 批做训练、第 4 批做验证，这样验证集更接近真实分布，但要求数据集提供了额外的元信息，没有的话就随机划分加种子固定是足够的。
3. 用 ResNet 训练茶叶病害分类：从数据加载到精度验证的最小可运行方案
3.1 为什么选 ResNet 而不是最新的 Transformer 模型
看到相关热搜里有“最新的图像分类模型”，不少人第一反应是想上 ViT、Swin Transformer。但对 4,000 张的中小规模数据集，Transformer 类模型在没有大规模预训练的情况下很容易欠拟合。ViT 在 ImageNet-21k 上预训练的权重针对性不够强，农业图像和自然图像的特征分布有差异，迁移效果往往不如 CNN 稳定。
ResNet-50 在这个量级的数据集上是性价比最高的选择。它的残差结构解决了深层网络的退化问题，ImageNet 预训练权重容易获取，训练显存占用在 8GB 的显卡上毫无压力。另外一个实际经验是：ResNet 在叶片病害这类纹理特征明显的任务上效果一直在线。病害识别的关键特征是病斑的颜色、形状和纹理，而不是形状轮廓或物体间关系，这正好是 CNN 的强项。
如果后续想追精度上限，可以先跑通 ResNet-50 得到基线，再尝试 EfficientNet-B3 或 ConvNeXt-T。但建议不要在第一步就上大模型，不然调参排错的成本会翻倍，而且很难确定是模型问题还是数据问题。
3.2 完整训练脚本：数据增强、学习率和早停的设置
下面的脚本是直接从命令行跑的最小可运行版本，训练集放在dataset/split/train，验证集放在dataset/split/val。
import torch import torch.nn as nn from torchvision import models, transforms, datasets from torch.utils.data import DataLoader, Dataset import os import time # ---------- 超参数 ---------- BATCH_SIZE = 32 EPOCHS = 50 LEARNING_RATE = 1e-4 NUM_CLASSES = 8 # 按实际类别数修改 DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu") # ---------- 数据增强与归一化 ---------- train_transform = transforms.Compose([components transforms.RandomResizedCrop(224, scale=(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.05), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) val_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # ---------- 数据集加载 ---------- train_dataset = datasets.ImageFolder("dataset/split/train", transform=train_transform) val_dataset = datasets.ImageFolder("dataset/split/val", transform=val_transform) train_loader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True, num_workers=4) val_loader = DataLoader(val_dataset, batch_size=BATCH_SIZE, shuffle=False, num_workers=4) # ---------- 模型准备 ---------- model = models.resnet50(weights=models.ResNet50_Weights.IMAGENET1K_V2) model.fc = nn.Linear(model.fc.in_features, NUM_CLASSES) model = model.to(DEVICE) # ---------- 损失函数与优化器 ---------- criterion = nn.CrossEntropyLoss() optimizer = torch.optim.AdamW(model.parameters(), lr=LEARNING_RATE, weight_decay=1e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=EPOCHS) # ---------- 训练循环（含早停） ---------- best_acc = 0.0 patience = 10 no_improve = 0 start = time.time() for epoch in range(EPOCHS): model.train() train_loss = 0.0 for inputs, labels in train_loader: inputs, labels = inputs.to(DEVICE), labels.to(DEVICE) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() train_loss += loss.item() * inputs.size(0) # 验证 model.eval() correct = 0 total = 0 with torch.no_grad(): for inputs, labels in val_loader: inputs, labels = inputs.to(DEVICE), labels.to(DEVICE) outputs = model(inputs) _, predicted = torch.max(outputs, 1) total += labels.size(0) correct += (predicted == labels).sum().item() val_acc = 100 * correct / total print(f"Epoch {epoch+1}/{EPOCHS} | Loss: {train_loss/len(train_dataset):.4f} | Val Acc: {val_acc:.2f}%") if val_acc > best_acc: best_acc = val_acc no_improve = 0 torch.save(model.state_dict(), "best_model.pth") else: no_improve += 1 if no_improve >= patience: print(f"早停于 epoch {epoch+1}，最佳精度 {best_acc:.2f}%") break print(f"训练完成，耗时 {(time.time()-start)/60:.1f} 分钟")几个参数值得细说。RandomResizedCrop的scale=(0.7, 1.0)控制裁剪保留原图面积的比例，它的作用不只是数据增强，还让模型适应病斑在画面中大小不一的真实情况。ColorJitter的数值不能给太大，茶叶叶片在真实环境下可能偏黄或偏暗，但 hue 超过 0.05 会让叶片颜色失真，模型反而学到错误特征。学习率设成1e-4而不是默认的1e-3，因为 ImageNet 预训练权重对茶叶数据来说已经在一个较好的初始点上，学习率太大容易把预训练学到的特征冲掉。如果不想加载预训练权重，这个学习率建议调回1e-3。
AdamW 的weight_decay设置为1e-4是为了防过拟合。4,000 张数据对 ResNet-50 来说并不算充裕，训练后期 Loss 下降但验证精度不涨的概率很高，早停在这里是保底机制。patience 设 10 的意思是连续 10 轮验证精度没有刷新就停。真实训练中大概第 20 到 35 轮会收敛，单卡训练时间在一小时以内。
3.3 精度之外还要看什么：混淆矩阵比整体准确率更诚实
准确率只有 90% 的时候，你可能觉得还行，但到底是哪几个类别在拖后腿，准确率完全看不出来。第一次训练完，建议马上输出混淆矩阵，这一步不要省。
import numpy as np import torch from sklearn.metrics import confusion_matrix, classification_report import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt model.eval() all_preds = [] all_labels = [] class_names = train_dataset.classes with torch.no_grad(): for inputs, labels in val_loader: inputs = inputs.to(DEVICE) outputs = model(inputs) _, preds = torch.max(outputs, 1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.numpy()) cm = confusion_matrix(all_labels, all_preds) print(classification_report(all_labels, all_preds, target_names=class_names, digits=3)) plt.figure(figsize=(10, 8)) plt.imshow(cm, interpolation="nearest", cmap="Blues") plt.colorbar() tick_marks = np.arange(len(class_names)) plt.xticks(tick_marks, class_names, rotation=45) plt.yticks(tick_marks, class_names) plt.xlabel("预测类别") plt.ylabel("真实类别") for i in range(len(class_names)): for j in range(len(class_names)): plt.text(j, i, str(cm[i][j]), ha="center", va="center") plt.tight_layout() plt.savefig("confusion_matrix.png") print("混淆矩阵已保存到 confusion_matrix.png")看混淆矩阵的时候重点找对角线以外的密集区域。以我的经验，茶饼病和炭疽病初期症状相似，深褐色的小圆斑在低分辨率下很容易混淆，这两个类别的互混是常客。如果classification_report里某个类别的 F1-score 明显偏低，可能有二：一是这个类别的训练样本确实少，二是该类别的图片背景和别的类别显著不同，模型在偷懒地学背景。这时回到原始图片里抽样检查，看是不是能通过裁剪或调整增强策略来改善。
4. 4,000 张数据怎么榨出更多价值：迁移学习、数据增强与模型微调的三层策略
4.1 特征提取器冻结还是全量微调：4,000 张数据的边界在哪里
用预训练模型处理中小数据集时，最常纠结的问题就是“冻结多少层”。在这方面有个经验值可以参考：数据集在 1,000 到 5,000 张之间，全量微调通常优于只训练最后的全连接层，但学习率得比常规值低一个数量级。
我的建议是分两阶段走。第一阶段把model.fc之外的所有层冻结，只训练新加的全连接层，跑 10 轮左右，得到一个比较稳定的初始状态。第二阶段解冻layer4及之后的层，学习率降到1e-5到3e-5，用极小的步长做微调。这种做法能避免一开始梯度太大破坏预训练特征，也给了训练过程一个更平滑的收敛路径。
# 第一阶段：只训练 FC 层 for param in model.parameters(): param.requires_grad = False for param in model.fc.parameters(): param.requires_grad = True optimizer = torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) # 训练 10 轮后进入第二阶段 # 解冻 layer4（最后一个残差块组） for param in model.layer4.parameters(): param.requires_grad = True optimizer = torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=3e-5)这里有个容易翻车的点：很多人直接在遍历model.parameters()时把requires_grad改成 False，然后用没有过滤的model.parameters()去创建优化器，这样所有的参数都会出现在优化器状态中，虽然requires_grad=False的层不会更新梯度，但 AdamW 的状态管理和显存占用仍然会把冻结的意义消解掉一半。用filter(lambda p: p.requires_grad, model.parameters())过滤后传给优化器是标准做法。
4.2 针对叶片病害的定向数据增强：不只是翻转和裁剪
通用数据增强对叶片病害有效，但针对性不足。茶叶病害图像有个重要特点：病斑是局部小区域，全局变换对模型的帮助有限。更有效的增强方式是区域级操作，比如随机裁剪一块包含病斑的区域放大训练，或者做局部遮挡，强迫模型关注多个位置。
OpenCV 的 MixUp 和 CutMix 在这类场景下效果很好。MixUp 把两张训练图按比例融合，标签也做线性混合，相当于变相扩充了样本分布空间。CutMix 则把一张图的方形区域粘贴到另一张图上，损失函数按面积比例分配标签。对于 4,000 张的小数据集，这两种方法能把有效训练样本的多样性拉高一个档次。实现上直接用torchvision.transforms.v2.MixUp和CutMix就行，PyTorch 2.0 之后已经内置，不再需要自己写。
from torchvision.transforms import v2 mixup = v2.MixUp(num_classes=NUM_CLASSES, alpha=0.2) cutmix = v2.CutMix(num_classes=NUM_CLASSES, alpha=1.0) # 训练循环中按概率交替使用 if random.random() < 0.5: inputs, labels = mixup(inputs, labels) else: inputs, labels = cutmix(inputs, labels)alpha是 Beta 分布的参数。MixUp 的alpha=0.2意味着混合系数大多接近 0 或 1，避免两张图过度混合导致模型看不清真实特征。CutMix 的alpha=1.0是默认值，太小的话粘贴区域面积分布不均匀。一个注意点：MixUp 和 CutMix 生成的标签是浮点概率分布，CrossEntropyLoss 直接支持这种软标签，但如果自定义了损失函数，需要确保能处理非 one-hot 的标签。
4.3 用测试集增强和 TTA 提高推理阶段的容错率
训练时做的数据增强是为了让模型见多识广，推理时做的 TTA（Test-Time Augmentation）则是让模型对同一张图多看几个角度，综合投票结果。这个技巧在叶片病害分类上有实际意义，因为单张照片可能有多余背景、叶片角度不同、光照条件各异，一次推理很容易因为某个不利因素判断失误。
def predict_with_tta(model, img_tensor, transform_list, device): model.eval() predictions = [] for transform in transform_list: aug_img = transform(img_tensor) # 每个 transform 应包含 ToTensor 和 Normalize aug_img = aug_img.unsqueeze(0).to(device) with torch.no_grad(): outputs = model(aug_img) probs = torch.softmax(outputs, dim=1) predictions.append(probs.cpu().numpy()) avg_probs = np.mean(predictions, axis=0) final_class = np.argmax(avg_probs, axis=1)[0] return final_class, avg_probs我这里用的 transform 列表一般是这五个：原图、水平翻转、垂直翻转、旋转 90 度、旋转 180 度。实验表明，TTA 通常能稳定提升 1 到 2 个百分点，代价是推理时间增加 5 倍。如果部署环境是边缘设备，TTA 不一定划算，但做离线评测或竞赛的时候就大胆用上。
5. 训练中的避坑指南：我对 4,000 张数据集最常见的 5 个踩坑记录
5.1 类别名里混入了隐藏目录，ImageFolder 直接读错标签
现象：训练 Loss 是下降的，但验证准确率卡在很低的水平，看混淆矩阵时发现预测标签全部错位。
原因：数据集中某些子文件夹可能是._开头的 macOS 元数据目录，或者包含了Thumbs.db这样的系统文件。datasets.ImageFolder会把每个子目录都当成一个类别，导致多出几个“幽灵类别”，而且原来的标签序号全部被挤到后面。
解决：在划分和训练之前，先跑一遍脚本过滤掉非图片文件和非目标目录。
valid_ext = [".jpg", ".jpeg", ".png", ".bmp", ".tif", ".tiff"] for root, dirs, files in os.walk("dataset/raw"): dirs[:] = [d for d in dirs if not d.startswith("._") and not d.startswith(".")] for f in files: ext = os.path.splitext(f)[1].lower() if ext not in valid_ext: os.remove(os.path.join(root, f))这个操作一定要放在训练之前做，它的成本是几分钟，但在它上面踩的坑可能会浪费一整天。
5.2 训练 Loss 不断下降但验证集准确率纹丝不动
现象：训练损失从 1.2 降到 0.3，验证准确率从 60% 升到 82% 后就不再变化，但训练集准确率已经接近 100%。
原因：典型的过拟合信号。4,000 张数据的容量有限，模型在前几十轮把训练集的细节特征背了下来，验证集上的泛化能力停步不前。此时数据增强的强度对验证精度影响非常大。
解决：三个手段组合使用。第一，增强ColorJitter的强度，让模型对光照变化更鲁棒；第二，调高weight_decay到3e-4；第三，增加 Dropout。ResNet 默认没有在全局池化后加 Dropout，可以修改model.fc前插入一个 Dropout 层，或者在model.fc的nn.Linear前加nn.Dropout(p=0.3)。如果这些都试了还是不行，就要回到数据层面，检查验证集里是不是混入了和训练集异常的相近图片。
5.3 训练速度慢得离谱，GPU 利用率只有 30%
现象：GPU 利用率上不去，训练时间长到无法接受，换了更高级的显卡也没改善。
原因：四个字，数据加载瓶颈。数据增强在 CPU 上计算，RandomResizedCrop和ColorJitter这些操作都要时间，进程数太少时 GPU 一直在等数据。
解决：num_workers设置成 CPU 核心数的一半到三分之二。显存够用的情况下把batch_size从 32 提到 64，减少每个 epoch 的迭代次数。更彻底的做法是用torchdata或 DALI 做预处理流水线，把裁剪、翻转、归一化等操作移到 GPU 或专用管线中。对于 4,000 张的数据规模，num_workers=4和batch_size=32的组合在主流配置上应该能保持 90% 以上的 GPU 利用率。
5.4 验证集精度很高但部署到实际场景效果很差
现象：验证集准确率达到 95%，但用户在实际拍摄的照片上测试，效果只有 70%。
原因：这很可能不是模型的问题，而是数据集本身有偏。采集时如果专业人员在统一背景下拍摄，模型可能学会了识别背景和拍摄条件，而不是病害特征。这种现象在农业数据集中尤其普遍。
解决：收集一定量的“野生”数据进行测试，比如手机随手拍、室内窗外不同光线、不同生长阶段的叶片。然后把这些数据混合进训练集做数据增强。如果比例允许，建议在预处理阶段做背景替换或随机抠图，强迫模型关注叶片区域本身。4,000 张的训练数据再配合 100 张左右的实际拍摄测试图，判断部署效果会比只看验证集准确率可靠得多。
5.5 Loss 出现 NaN 或验证时梯度爆炸
现象：训练到中途 Loss 突然变为 NaN，或者 Loss 在几个 epoch 内从 0.3 跳到几百再跳回 0.3。
原因：一个是被除数为 0，可能来自数据中出现全零像素的图片；另一个是学习率过大导致梯度更新步长失控，特别是在微调阶段的 Transformer 或超大模型上更容易出现。4,000 张的图片里如果某张损坏，读入后像素值全为 0，Normalize 之后可能出现无穷值。
解决：在 DataLoader 中加collate_fn，遇到坏图直接丢弃；同时把CrossEntropyLoss的reduction设为mean，并检查输出层的 logits 是否有极端值。训练前手写一个循环扫一遍所有图片，统计像素均值、方差和是否有全零图，这个检查花不了两分钟，但能避免训练到一半白跑。
6. 进阶用法：用混淆矩阵和 Grad-CAM 验证模型到底学到了什么，以及后续如何迭代
最后一章要解决的问题是：模型训练完了，准确率也还行，但怎么知道它是真的在识别病害，还是歪打正着？这决定了你后续是该继续调参、优化数据，还是直接部署。验证方法用两个：一是看错误样本的具体形态，二是用可视化工具观察模型的注意力区域。
Grad-CAM 是目前最直观的解释工具之一。它通过计算类别得分对最后一个卷积层特征图的梯度，得到每个位置对分类结果的重要程度，再叠加到原图上生成热力图。
import cv2 import torch import numpy as np from torchvision import transforms def grad_cam_visualize(model, img_path, class_idx, device): # 注册前向传播的输出和梯度钩子 feature_map = None gradient = None def forward_hook(module, input, output): nonlocal feature_map feature_map = output def backward_hook(module, grad_input, grad_output): nonlocal gradient gradient = grad_output[0] # 找到最后一个卷积层 target_layer = model.layer4[-1] forward_handle = target_layer.register_forward_hook(forward_hook) backward_handle = target_layer.register_full_backward_hook(backward_hook) img = Image.open(img_path).convert("RGB") transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) input_tensor = transform(img).unsqueeze(0).to(device) model.eval() output = model(input_tensor) scores = output[0] class_score = scores[class_idx] model.zero_grad() class_score.backward() weights = torch.mean(gradient, dim=(2, 3), keepdim=True) cam = torch.relu((weights * feature_map).sum(dim=1, keepdim=True))[0, 0].detach().cpu().numpy() cam = cv2.resize(cam, (224, 224)) cam = (cam - cam.min()) / (cam.max() - cam.min()) heatmap = cv2.applyColorMap(np.uint8(255 * cam), cv2.COLORMAP_JET) original = np.array(img.resize((224, 224))) result = cv2.addWeighted(original, 0.6, heatmap, 0.4, 0) cv2.imwrite("grad_cam_result.jpg", result) forward_handle.remove() backward_handle.remove()跑完这个可视化后，查看热力图是否集中在病斑区域而不是叶片边缘或背景。如果模型关注的区域明显偏移，说明训练数据的标注质量或增强策略可能有问题。我的经验里，热力图偏移最严重的情况往往来自背景复杂的图像，模型学了背景而不是叶片。遇到这种情况，策略是加背景增强，比如随机替换背景色或者裁剪时强制包含一定比例的叶片区域。
单张图的热力图验证完之后，建议做一个误差分析脚本：把验证集里预测错的图片全部导出，按类别分组保存，然后人工快速浏览。这一步虽然听起来粗暴，但效率极高，通常在 15 到 20 分钟内就能发现系统性的标注错误或分类标准不一致问题。举个例子，如果健康叶片被误判为茶饼病的案例特别多，你去翻原始图片，会发现这批“健康”叶片底部其实有少量褐变，标注者当初忽略了，由此能反推数据集的标注细则需要明确“轻微症状算健康还是有病”的判定标准。
把错误样本的反馈和 Grad-CAM 的结果汇总后，后续迭代方向就清晰了：一类是数据层面，补充易混淆类别的样本，修正标注边界；另一类是模型层面，针对混淆严重的类别做类别加权损失函数，或者尝试用注意力机制更强的模型架构。最终你会发现，折腾到最后，4,000 张的数据是不是够用，答案已经不再是“数据太少导致模型不行”，而是“模型和数据在哪些边界上还能达成更好的协作”。
我的个人习惯是，每次训练完新模型，都会把 Grad-CAM 结果和混淆矩阵截图存档，跑几次不同的增强策略做横向对比，这样再迭代时思路会非常清楚，不会陷入凭感觉调参的死循环。希望这些方法和踩坑记录能帮你在这个数据集上省下几个周末的时间。
本文还有配套的精品资源，点击获取
