简介：面向希望系统掌握图像分类实战的深度学习初学者与研究者，CIFAR-100分类开源项目提供了基于ResNet与Wide-ResNet的完整解决方案。项目覆盖CIFAR-100数据的加载与预处理、数据增强策略、网络搭建、训练测试及性能评估全流程，并直观展示跳跃连接与加宽残差块的设计思路，便于对比两种架构在百类小图任务上的表现。资源包共15个文件，压缩后仅1.05MB：5个ipynb对应不同正确率版本的实验记录，3个py封装模型定义与训练脚本，3张png呈现准确率曲线，3个md提供说明文档，另有1个介绍文件，目录清晰、便于按需查阅。代码涉及学习率调整、权重初始化、正则化等调优手段，并保留76%与78%正确率的版本节点，方便复现与对比。已有194人学习，是理解残差网络调优、开展图像分类实验的实用资料。
1. CIFAR-100 分类实战：为什么 ResNet 只是起点，不是终点
在 CIFAR-100 这种 32×32 小图上做分类实战，很多人第一反应是拿现成 ResNet 跑一遍收工。真跑过就会发现：ResNet-50 在这种小分辨率、100 类别、每类只有 500 张训练图的数据集上，练到 200 轮也就在 74%～75% 附近晃，而同样训练代价的 Wide-ResNet 能稳定上到 80% 左右。这个差距不是玄学，而是“加深”和“加宽”在小数据集上的本质区别。这篇文章把从 ResNet 基线到 Wide-ResNet 的完整链路拆开：模型结构怎么改、训练超参怎么配、哪些坑会让精度反复横跳。适合已经会用 PyTorch 跑通 ImageNet 分类、但想在 CIFAR-100 上把单模型精度做上去的开发者。
2. 从 ResNet 到 Wide-ResNet：模型选型与两个关键改动
2.1 WRN 的核心思路：加宽比加深对小图更划算
CIFAR-100 的难点不在于分辨率，而在于“类别多、每类样本少”。100 类、每类 500 张训练图，意味着模型稍微复杂一点就开始背训练集。这时候盲目堆深度不是好选择：32×32 的输入经过 ResNet 的下采样，到最后一层特征图只有 8×8，深层网络里大量 1×1 卷积把通道压来压去，信息流动反而成了瓶颈。更麻烦的是，ResNet 的 Bottleneck 结构在小数据集上容易过拟合，训练集 acc 冲到 95% 以上，验证集却卡在 75% 附近不动。
Wide-ResNet（简称 WRN，标题里的 Wide-ResNet 就是它）换了个思路：不加深，而是把每个残差块的通道数乘上一个系数 k，同时用两个 3×3 卷积代替 Bottleneck 里的 1×1-3×3-1×1 三段式。两个 3×3 卷积的感受野和一个 5×5 卷积相当，但参数更少、非线性更强，配合大通道数，信息在 block 内部流动得很充分。CIFAR 上最常用的配置是 WRN-28-10，即 28 层、k=10，参数量大约 36M，比 ResNet-50 大一圈，但在小图上反而更容易训到 80% 以上。
这里还有一个经常被忽略的关键改动：WRN 在残差 block 内部加了 dropout，概率通常取 0.3。ResNet 本身不带 dropout，靠 BN 的随机性做正则；WRN 通道数大，过拟合风险高，所以作者在第二个 3×3 卷积之前插一个 Dropout(p=0.3)，把正则补上。很多人复现 WRN 掉点，就是把这个 dropout 漏了或者位置放错。
2.2 WRN 完整模型定义：一份能直接跑通的最小结构
下面这份代码是我整理项目时一直用的 WRN 结构，基于 PyTorch 实现，不依赖额外库。它和 torchvision 里 ResNet 的最大区别，就是我用WideBasicBlock替代Bottleneck，并显式加入 dropout。
import torch import torch.nn as nn import torch.nn.functional as F class WideBasicBlock(nn.Module): def __init__(self, in_planes, out_planes, stride, dropout_rate=0.0): super().__init__() self.bn1 = nn.BatchNorm2d(in_planes) self.conv1 = nn.Conv2d(in_planes, out_planes, 3, stride, 1, bias=False) self.bn2 = nn.BatchNorm2d(out_planes) # 关键点：dropout 放在第二个 3x3 卷积之前 self.dropout = nn.Dropout(p=dropout_rate) if dropout_rate > 0 else nn.Identity() self.conv2 = nn.Conv2d(out_planes, out_planes, 3, 1, 1, bias=False) # shortcut：分辨率或通道数变化时用 1x1 卷积对齐 self.shortcut = nn.Sequential() if stride != 1 or in_planes != out_planes: self.shortcut = nn.Conv2d(in_planes, out_planes, 1, stride, bias=False) def forward(self, x): out = F.relu(self.bn1(x)) out = self.conv1(out) out = F.relu(self.bn2(out)) out = self.dropout(out) out = self.conv2(out) return out + self.shortcut(x) class WideResNet(nn.Module): def __init__(self, depth=28, num_classes=100, widen_factor=10, dropout_rate=0.3): super().__init__() # depth 必须满足 6n+4，CIFAR 版常用 28 / 34 / 40 assert (depth - 4) % 6 == 0, "depth 需满足 6n+4" self.in_planes = 16 n = (depth - 4) // 6 # 每个 stage 里的 block 数量 self.conv1 = nn.Conv2d(3, 16, 3, 1, 1, bias=False) self.layer1 = self._make_layer(16 * widen_factor, n, stride=1, dropout_rate=dropout_rate) self.layer2 = self._make_layer(32 * widen_factor, n, stride=2, dropout_rate=dropout_rate) self.layer3 = self._make_layer(64 * widen_factor, n, stride=2, dropout_rate=dropout_rate) self.bn = nn.BatchNorm2d(64 * widen_factor) self.avgpool = nn.AvgPool2d(8) self.fc = nn.Linear(64 * widen_factor, num_classes) def _make_layer(self, out_planes, blocks, stride, dropout_rate): layers = [WideBasicBlock(self.in_planes, out_planes, stride, dropout_rate)] self.in_planes = out_planes for _ in range(1, blocks): layers.append(WideBasicBlock(self.in_planes, out_planes, stride=1, dropout_rate=dropout_rate)) return nn.Sequential(*layers) def forward(self, x): x = self.conv1(x) x = self.layer1(x) x = self.layer2(x) x = self.layer3(x) x = F.relu(self.bn(x)) x = self.avgpool(x) # 32x32 -> 1x1 x = x.view(x.size(0), -1) return self.fc(x)代码逻辑很简单：先用一个 3×3 卷积把输入从 3 通道变到 16 通道，然后过三个 stage。每个 stage 的通道数分别是 16k、32k、64k，其中第二个和第三个 stage 的第一个 block 用 stride=2 下采样，对应特征图从 32 降到 16 再到 8。widen_factor就是标题里 Wide-ResNet 的“宽”字所在：k=10 时最后一层是 640 通道。
需要调的两个核心参数是depth和widen_factor。我在 CIFAR-100 上推荐的顺序是：先用 28-10（depth=28, k=10）跑通流程，把验证集做到 80% 左右；时间紧就换 40-10，精度能再高 0.3～0.5 个点，但训练时间明显变长。dropout_rate默认 0.3，这是原论文在 CIFAR 上的常见取值，后面避坑章节会讲为什么不能随手改成 0.1 或 0.5。
注意：不同社区的 WRN 复现，dropout 位置略有差异。有的放在两个 conv 之后做 post-activation，有的放在 shortcut 加法之后。本文采用的是 CIFAR 任务中最常见的一种：BN-ReLU-Conv-BN-ReLU-Dropout-Conv。如果你从别处拷到代码，先确认这个顺序。
3. 把训练跑起来：数据增强、优化器与学习率调度怎么配
3.1 数据增强组合：对 CIFAR-100 最管用的三招
CIFAR-100 的原始图像是 32×32 彩色图，训练集 5 万张。数据增强不是“锦上添花”，而是决定你有没有 80% 的分水岭。我实验下来，收益最大的是下面三招。
第一是RandomCrop(32, padding=4)加RandomHorizontalFlip()。这是 CIFAR 上的标配增强，padding 4 等于把图像先放大到 40×40 再随机裁回 32×32，等价于引入平移扰动。这两个操作几乎不加显存、不拖慢训练，但能把验证集提升 1.5 个点左右。
第二是 Cutout 或 RandomErasing。每类只有 500 张图，模型很容易对某些局部纹理过拟合。Cutout 随机遮掉图像上一块方形区域，相当于强制模型利用全局信息。我用RandomErasing(p=0.5, scale=(0.02, 0.2))，也就是一半概率擦除、擦除面积占原图 2%～20%。这个增强对 CIFAR-100 的收益通常在 1 个点以上。
第三是 Normalize 的统计量。很多人直接搬运 ImageNet 的 mean/std 到 CIFAR 上，这是完全错误的。CIFAR-100 自己有一套公开统计量：mean 为 (0.5071, 0.4867, 0.4408)，std 为 (0.2675, 0.2565, 0.2761)。用错统计量不会导致训练崩掉，但会让输入分布整体偏移，验证集掉 0.3～0.5 个百分点，属于完全没有必要的损失。
import torchvision.transforms as T # 注意：RandomErasing 必须放在 Normalize 之后，作用在 tensor 上 train_transform = T.Compose([ T.RandomCrop(32, padding=4), T.RandomHorizontalFlip(), T.ToTensor(), T.Normalize(mean=[0.5071, 0.4867, 0.4408], std=[0.2675, 0.2565, 0.2761]), T.RandomErasing(p=0.5, scale=(0.02, 0.2), value="random"), ]) val_transform = T.Compose([ T.ToTensor(), T.Normalize(mean=[0.5071, 0.4867, 0.4408], std=[0.2675, 0.2565, 0.2761]), ])验证集的 transform 不要加 RandomCrop，也不要加 RandomErasing。很多新手把训练集的 transform 原封不动套在验证集上，验证集精度直接掉 10 个点往上，这不是模型问题，是评估口径错了。
3.2 训练主循环：SGD + Cosine + Weight Decay 的推荐配置
WRN 在 CIFAR-100 上的优化器选择，实践下来最稳的是带 Nesterov 的 SGD，而不是 Adam。原因很简单：CIFAR-100 样本少，Adam 的自适应学习率在训练后期容易在小梯度上产生过大更新，导致验证集震荡。SGD 配合 Cosine 学习率调度，收敛更平滑，最终精度普遍比 Adam 高 1～2 个点。
import torch import torch.nn.functional as F from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingLR def train_one_epoch(model, train_loader, optimizer, device): model.train() total_loss, correct, total = 0.0, 0, 0 for x, y in train_loader: x, y = x.to(device), y.to(device) optimizer.zero_grad() out = model(x) loss = F.cross_entropy(out, y) loss.backward() optimizer.step() total_loss += loss.item() * x.size(0) correct += (out.argmax(dim=1) == y).sum().item() total += x.size(0) return total_loss / total, correct / total model = WideResNet(depth=28, num_classes=100, widen_factor=10, dropout_rate=0.3).cuda() optimizer = SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4, nesterov=True) scheduler = CosineAnnealingLR(optimizer, T_max=200, eta_min=1e-4)这段代码里的超参是我在 CIFAR-100 上反复用的一组：初始学习率 0.1，batch size 128，总训练轮数 200。T_max=200表示 Cosine 周期和训练轮数完全对齐，学习率从 0.1 平滑降到 1e-4。eta_min取 1e-4 而不是 0，是为了防止最后几轮学习率过小导致模型在验证集附近来回抖动。
weight_decay=5e-4是 CIFAR 上的经验值，对应 L2 正则。很多人会纠结要不要设更大，我试过 1e-3，训练集 acc 掉得不明显，但验证集在 190 轮附近会出现一个明显的下降段，说明正则过强把模型的拟合能力压住了。如果你的 WRN 用的是 k=4 这种小宽度，weight_decay 可以降到 3e-4，小模型本身不容易过拟合。
3.3 观察训练曲线：从三个信号判断模型状态
训练代码跑起来之后，不要只盯着验证集 acc。我一般同时看三个信号：训练 loss、训练 acc 与验证 acc 的差距、验证 acc 的波动幅度。
第一个信号是训练 loss。WRN-28-10 在 200 轮 Cosine 调度下，前 20 轮 loss 应该从 4.6 左右快速降到 2.0 附近，中间段平滑下降，最后 30 轮基本贴在地上。如果训练 loss 下降速度远慢于这个节奏，先怀疑学习率，把 lr 从 0.1 调到 0.2 对比一下；如果 loss 曲线出现明显台阶，多半是数据加载顺序问题或 BN 的 momentum 没设置好。
第二个信号是泛化 gap。CIFAR-100 上 WRN-28-10 训练到后期，训练 acc 到 99% 很正常，验证 acc 在 80% 附近，这个 gap 约 19 个点看起来吓人，但属于正常范围。如果训练 acc 老早就到 99% 而验证 acc 还在 75% 以下，说明过拟合失控，优先检查 dropout 是否生效、widen_factor 是否太大。
第三个信号是验证 acc 的波动。好的状态是最后 50 轮验证 acc 单次波动不超过 0.3 个点。如果验证 acc 在 78% 和 80% 之间来回跳，说明学习率还是偏大，或者 batch size 太小导致 BN 统计量不稳定。此时可以把eta_min从 1e-4 降到 5e-5，或者把 batch size 提到 256 并同步调大 lr。
4. 训练加速与结果稳定：混合精度、种子与日志管理的工程细节
4.1 混合精度不是免费的：小 batch 下的损失缩放问题
不少人在 CIFAR 上跑 WRN 也喜欢开 AMP（自动混合精度），理由是训练速度快。但我要提醒一点：混合精度对这个小数据集来说收益有限，却可能引入一个隐蔽的精度问题。
AMP 的原理是部分算子用 FP16 计算，梯度经过 GradScaler 放大后再缩小。问题出在 CIFAR-100 的训练 batch 通常只有 128，样本少、梯度本身的方差大，如果某个 batch 出现极端 loss，FP16 的动态范围可能直接溢出，表现为 loss 变成 NaN，或者训练 acc 正常但验证 acc 比 FP32 低 0.3 个点。我遇到过两次，第一次还以为是模型写错了，后来把 AMP 关掉就跑回正常。
scaler = torch.cuda.amp.GradScaler() for x, y in train_loader: x, y = x.cuda(), y.cuda() optimizer.zero_grad() with torch.cuda.amp.autocast(): out = model(x) loss = F.cross_entropy(out, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()如果一定要用 AMP，记住三条：一是把GradScaler()的init_scale从默认的 65536 调小到 4096，减少极端情况下的溢出；二是当 loss 连续出现 NaN 时，不要急着调学习率，先关掉 AMP 确认 FP32 下正常；三是 CIFAR-100 每轮迭代很快，FP32 全程跑也就多花 20%～30% 时间，省下的这点时间不值得用精度去换。
4.2 确定性设置：一份能跨机器复现的种子配置
做实验最怕的是：同一份代码、同一个 seed，换台机器或换块卡，验证集精度差 0.5 个点。这不是模型问题，是训练过程里存在非确定性操作。来源主要有三个：cuDNN 的卷积算法选择、多线程 DataLoader 的数据顺序、以及某些算子内部的原子操作。
import random import numpy as np import torch def set_seed(seed_value=42): random.seed(seed_value) np.random.seed(seed_value) torch.manual_seed(seed_value) torch.cuda.manual_seed_all(seed_value) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False这段代码里，最容易漏的是torch.backends.cudnn.benchmark。默认情况下 PyTorch 会在第一次迭代后自动测试多种卷积算法并选最快的，不同卡选出的算法可能不一样，导致结果漂移。benchmark=False配合deterministic=True能固定卷积算法，代价是训练速度略有下降，但在 CIFAR 这种小任务上完全可以接受。
另一个隐蔽问题在 DataLoader。如果开了num_workers=8，每个 worker 的数据采样顺序不同，即使 master seed 固定，epoch 内样本顺序也不完全一致。对最终精度影响很小，但如果你要对比两个实验的 diff，建议把num_workers固定成同一个值，并在代码注释里写明。
4.3 检查点与评估策略：别拿最后一轮权重交差
训练 WRN 这种带 dropout 的模型，最后一轮的权重几乎不可能是验证集最优。原因很简单：Cosine 调度最后学习率极低，模型在最后几轮可能因为 BN 统计量的微小波动，把验证 acc 压低了 0.2～0.3 个点。所以保存权重时必须按验证 acc 做早停式的记录。
我一般会在每个 epoch 结束后跑一次验证集，把val_acc和对应的 state_dict 存下来，只在验证 acc 创新高时覆盖旧权重。这样训练结束后直接加载best_model.pth做测试，而不是用训练循环里最后一步的模型。这个习惯能稳定多拿 0.3 个点左右，在 CIFAR-100 这种 100 类的任务里，0.3 个点可能就意味着排名差好几个身位。
best_acc = 0.0 for epoch in range(200): train_loss, train_acc = train_one_epoch(model, train_loader, optimizer, device) val_acc = evaluate(model, val_loader, device) scheduler.step() if val_acc > best_acc: best_acc = val_acc torch.save(model.state_dict(), "best_model.pth") print(f"epoch {epoch}: save best, val_acc={val_acc:.4f}")evaluate函数里有个细节：验证阶段必须写model.eval()，并放在torch.no_grad()里面。WRN 的 BN 在训练和推理模式下行为不同，如果忘记model.eval()，BN 会继续用当前 batch 的统计量，验证 acc 会偏低且不稳定。
5. 避坑指南：CIFAR-100 训练中的 5 个高频翻车点
5.1 加了 Wide-ResNet 反而掉点：dropout 与 widen_factor 没配好
现象：从 ResNet-50 切到 WRN-28-10，训练充分后验证集非但没涨，反而掉了 0.5 个点。
原因：WRN-28-10 参数量比 ResNet-50 大，在小数据集上过拟合更严重。如果 dropout 没开成 0.3，或者被误设成 0.1，正则强度完全不够；另外，很多复现代码默认dropout_rate=0，直接复制过来等于没加正则。
解决：把dropout_rate明确设成 0.3，确认 dropout 在 forward 路径里真实生效。然后做一次消融：固定 epoch 和超参，分别用 k=4、k=10 跑两版，如果 k=10 验证集低于 k=4，说明当前正则不足，优先调 weight_decay 和 dropout，而不是继续加大模型。
5.2 训练集 99%、验证集 78% 且来回抖：学习率过大或 batch 过小
现象：训练 acc 很早就到 99%，验证 acc 卡在 78% 附近，并且每轮波动超过 0.5 个点。这不是过拟合的典型表现，因为过拟合通常是验证 acc 平滑掉头，而不是剧烈震荡。
原因：学习率 0.1 配合 batch size 64 时，模型参数更新方差过大，BN 的运行统计量也被带偏。Cosine 调度后期学习率虽然降下来，但前期积累的噪声让模型始终在最优解附近摆动。
解决：先把 batch size 提到 128 或 256，学习率保持 0.1；如果显存不够，就把 lr 降到 0.05 并延长训练到 300 轮。另外，给前 5 个 epoch 加一个 warmup，让学习率从 0.02 线性升到 0.1，能明显压住验证集的早期抖动。
5.3 换显卡后精度对不上：非确定性算法在背后作怪
现象：同一份代码、同一个 seed、同样的 epoch 数，在一张卡上跑到 80.4%，换另一张卡变成 80.1%。代码没动过，数据集没动过。
原因：我在 4.2 节提到过，cuDNN 在不同显卡上有不同的卷积实现选择，即使deterministic=True，某些算子（比如大矩阵乘的累加顺序）依然存在浮点误差。多跑 0.3 个点的差异在 CIFAR 上属于正常浮动，但如果差异超过 1 个点，一定是代码层面有随机性。
解决：把benchmark=False设置写进项目入口，而不是依赖默认值；同时固定torch.manual_seed的调用顺序，必须在模型初始化之前执行。换卡后先跑 20 个 epoch 做抽查，确认验证 acc 与旧卡偏差在 0.3 以内再继续长训。
5.4 AMP 训练出现 NaN：损失缩放策略过于激进
现象：训练到 30 轮左右，loss 突然变成 NaN，之后再也回不来。日志里没有明显的前兆，验证集在此之前一直是正常上升的。
原因：AMP 的 GradScaler 默认初始 scale 很大，遇到极端 batch 时梯度溢出，scale 反复减半也来不及纠正；另一个常见原因是学习率 0.1 配合 AMP，FP16 下的参数更新幅度超出可表示范围。
解决：先关掉 AMP 确认 FP32 能正常训练，再开 AMP 并把GradScaler(init_scale=4096)调低；同时把梯度裁剪设成max_norm=5.0，等于给极端梯度加上限。如果问题依旧，我建议直接放弃 AMP，CIFAR-100 的训练成本很低，可复现性比那一点速度重要。
5.5 训练和验证的预处理不一致：Normalize 统计量与随机增强写错位置
现象：模型在训练集上表现正常，验证集 acc 只有 40%～50%，看起来像没收敛，但训练曲线完全健康。
原因：最常见的是把RandomErasing或RandomCrop也加到了验证集 transform 里；另一种是 Normalize 的 mean/std 写反，或者直接复制了 ImageNet 的统计量。这类错误不会报错，模型照常训练，只是评估口径不对。
解决：按 3.1 节给的验证集 transform 严格检查：验证集只保留ToTensor和Normalize，任何带随机性的操作都要移除。我习惯在项目里写一个简单的断言，打印出验证集第一张图的均值，对照 CIFAR-100 的官方 mean 快速排查。
6. 进阶技巧：把 WRN 在 CIFAR-100 上的准确率再往上推
当 WRN-28-10 稳定跑到 80% 之后，还有几个手段可以继续往上走，按收益从高到低排列如下。
第一个是标签平滑（Label Smoothing）。CIFAR-100 类别多，部分样本本身就有歧义，比如有些类之间的视觉差异很小。把交叉熵的label_smoothing设为 0.1，等于告诉模型不用太相信 hard label，能缓解过拟合。在 PyTorch 里只需要改一行：F.cross_entropy(out, y, label_smoothing=0.1)。
第二个是 EMA（指数移动平均）。给模型权重维护一份滑动平均版本，训练时不更新它，验证和测试时用平均权重代替实时权重。EMA 相当于对训练轨迹做平滑，能稳定地把验证集提升 0.2～0.3 个点，实现起来也就 20 行代码。我习惯在 Cosine 调度结束后再单独跑 20 轮 EMA 预热，效果比全程平均更好。
第三个是测试时增强（TTA）。CIFAR-100 的测试集是 32×32 原图，TTA 可以简单做一次水平翻转：把原图和翻转图的预测 logits 取平均，再求 argmax。这个技巧只影响推理，不影响训练，通常能白拿 0.2 个点左右。
第四个是 Cutout 和 Mixup 的组合。注意这两者不建议从第一轮就同时开。我试过先把 Cutout 固定 0.5 概率从头训，然后在最后 50 轮加 Mixup（alpha=0.2），验证集能到 82% 上下；但如果全程同时开，模型在训练集上的拟合速度会变慢，最终精度反而下降。
我第一次把 WRN-28-10 从 79.5% 往 82% 推的时候，犯过一个蠢错误：只加了 dropou 的宽度，把 widen_factor 从 10 加到 14，结果验证集掉了 0.4 个点。后来才意识到，加宽之后正则必须同步加强，这不是模型结构问题，而是正则和容量的配平问题。从那以后我每调一个结构参数，就强制自己先跑一遍小轮数消融，再决定是否投入长训。这套从 ResNet 到 Wide-ResNet 的流程，每一步的坑我都踩过，希望帮到你。
本文还有配套的精品资源，点击获取
