迁移学习实战：PyTorch微调ResNet18的完整指南与踩坑记录

跟着深度之眼第七期刷CS231n已经写到第二十六篇笔记了，前面二十多篇把图像分类、线性分类器、反向传播、卷积神经网络这些基础内容一路捋了下来。理论啃得七七八八之后，真正让人头大的其实是动手环节——尤其当你手里只有一个几千张图片的小数据集，却想训练出一个能用的分类模型时，按课程作业里的方式从随机初始化开始搭CNN，效果基本都是灾难。这篇笔记，我打算把最近折腾迁移学习（Transfer Learning）的完整过程复盘一遍，包括方案决策、代码实现、参数调整，以及那些深夜调参时才会撞见的诡异问题。

为什么专门写迁移学习？因为它是计算机视觉里最实用、上手最快的一类方法，也是CS231n课程里明确强调过的实战套路。我这次在自己收集的六分类图像任务上完整走了一遍微调流程，从加载预训练权重、冻结网络、分阶段解冻，到调学习率、排查loss异常，整个过程踩了不少坑，也积累了一些常规文档里不会写的经验。这篇笔记适合正在刷CS231n的人、刚上手PyTorch的初学者，以及标注数据不多但想做靠谱分类模型的开发者参考。下面直接进入正文，我会把每个操作背后的原因讲清楚，而不是只贴一堆API调用。

1. 迁移学习方案选型：从课程理论到实战决策

1.1 小数据集从零训CNN，三个坑我都踩过

先说这次任务的背景。我手里有一批自己整理的小型图像数据集，一共6个类别，每类400到600张不等，都是日常场景下的物体照片。数据量不大，类别之间有些相似性，比如有两类容易混淆的鸟类。如果按照CS231n作业里的流程，从随机初始化开始训练一个ResNet18，我几乎可以预见到三个问题。

第一是过拟合。深层卷积网络的参数量动辄上千万，几千张图塞进去，训练集准确率可以冲得很高，验证集却惨不忍睹。我一开始做过一次对照实验，随机初始化ResNet18硬训50个epoch，训练集98%，验证集只有70%出头，典型的把样本特征背下来了。这种过拟合不是单纯加dropout和weight decay就能救回来的，根源是数据量撑不起模型容量。

第二是收敛慢。随机初始化的深层网络，前向和反向传播的信号在几十层里穿行，梯度很容易不稳定，需要精心的初始化策略和学习率调度，稍不注意loss就直接飞到NaN。我那次实验调了三天，最终精度也就那样，投入产出比极低。

第三是时间成本。小ResNet在GPU上跑50个epoch也要好几个小时，换一组参数又得重来。学习过程中最贵的就是反复实验的时间，这条路走不通就该立刻换方案。

反观迁移学习，前面的特征提取器已经在大规模数据上见过世面，我们要做的不是“从零建造”，而是“适配”,难度完全不在一个量级。

1.2 预训练特征为什么能“换个任务继续用”

这里得把CS231n课程里的一个核心观点再展开一下：卷积神经网络学到的特征是有层次性的。浅层卷积核学的是边缘、纹理、颜色块这些极度通用的低层模式，中层开始组合出轮廓、局部部件，深层才慢慢出现和具体任务强相关的语义信息，比如狗头、车轮、人脸这类概念。

这就意味着，一个在大规模图像分类数据上训练好的网络，它的浅层和中层特征对绝大多数自然图像任务都有很强的复用价值。打个比方，你请一位成熟的画师换一种画风，他上手很快，因为他已经掌握了构图、笔触、色彩这些基本功；你让一个刚学画的孩子直接临摹大师作品，连笔都拿不稳，自然不行。预训练模型就是那位成熟画师，基本功已经练好了，换任务只是换画风。

不过要注意前提：这套逻辑在目标图像和预训练数据分布相近时最有效。如果任务是医学影像、卫星遥感图这种和日常照片差异极大的领域，浅层通用性还在，但中高层语义特征就得重新学，迁移学习的收益会明显下降。这也是为什么后面做方案选型时要先评估“分布相似度”。

1.3 三种微调路线怎么选：我最后选了分阶段

迁移学习在实践层面一般有三条路。第一条是特征提取：把backbone完全冻结，只训练最后新加的线性分类层。优点是快、省显存、几乎不过拟合，缺点是模型对目标任务的理解停留在预训练特征层面，效果上限有限。第二条是全量微调：所有层都参与训练，效果上限高，但需要更多数据和更精细的调参，否则容易灾难性遗忘。第三条就是分阶段微调，也是最稳的折中方案。

我把三种方案做了一个对比，方便大家直接抄作业：

我最终选的是分阶段微调，具体拆成两步走：第一阶段冻结整个backbone，只训练新替换的fc分类层，让分类头先适应预训练特征的空间分布；第二阶段再解冻靠近输出端的layer4和fc层，用更小的学习率一起微调，让高层特征向目标任务靠拢。这样既避免了随机分类头在训练初期剧烈震荡，又能给模型留出调整空间，对几千张图的数据量来说是最稳妥的组合。

2. 微调前的五个关键细节：弄懂才能不白训

2.1 归一化必须和预训练保持一致

这是新手最容易忽略、影响却最直接的细节。torchvision加载的预训练模型，在训练时输入图像做了固定的归一化处理，均值和标准差分别是：

mean = [0.485, 0.456, 0.406] std = [0.229, 0.224, 0.225]

这个组合对应的是ImageNet数据集的RGB通道统计量。使用预训练模型时，我们的数据预处理也必须用同一套归一化参数。否则等于把模型期望的输入分布硬生生扭曲掉，第一步就把特征带偏，后面再微调都容易事倍功半。我见过有人用自己数据集的mean/std去归一化预训练模型的输入，结果验证准确率掉了十几个点，排查半天才发现是这里出了问题。

实现上就是torchvision的transforms.Normalize直接套用上面这组数值。如果你用的是自己训练的模型，归一化统计量应该从你自己的训练集统计，而不是套ImageNet的。总之记住一句话：预训练和微调阶段的输入分布必须对齐。

2.2 冻结层与BN层的微妙关系

冻结层在PyTorch里实现很简单，把对应参数的requires_grad置为False就行。但这里藏着一个很隐蔽的坑：BatchNorm层。

BN层有两套东西，一套是可学习的缩放和偏移参数（weight和bias），另一套是running_mean和running_var统计量。把BN参数的requires_grad设为False，只是不再更新可学习参数，但如果整个模型处于train模式，BN仍然会继续计算并更新running_mean和running_var。这就导致一种“半冻结”状态：你以为backbone完全没动，实际上BN统计量一直在随着新数据漂移，训练和验证时的行为不一致，结果忽高忽低。

我的处理方法是：第一阶段冻结backbone时，把backbone整体切到eval模式，让BN统计量固定住，只让新加的fc层处于train模式，dropout也不会影响backbone。第二阶段解冻后，再把整个模型切回train模式，让BN跟着一起更新。这种做法实测最稳，不会出现验证时精度突然跳水的情况。

2.3 分类头和学习率为什么要“区别对待”

微调时如果把所有参数丢进同一个优化器、用同一个学习率，往往会出问题。新加的fc层是随机初始化的，它需要较大的学习率去快速拟合任务；预训练得到的backbone参数已经有很好的初始化，学习率太大一步就冲坏了原来的特征空间，这就是所谓的“灾难性遗忘”。

所以正确做法是给优化器传入多个参数组，不同层配不同学习率。我第一阶段只训练fc层，给它1e-3的学习率；第二阶段解冻layer4和fc，预训练部分统一用1e-4，新fc层如果觉得收敛太慢可以单独保持1e-4到5e-5之间的值。实现代码很简单：

optimizer = optim.SGD([ {"params": model.fc.parameters(), "lr": 1e-3}, {"params": backbone_params, "lr": 1e-4} ], momentum=0.9, weight_decay=1e-4)

需要单独把backbone里requires_grad为True的参数筛出来，避免传空列表报错。

2.4 数据增强的分寸感

数据增强对微调同样重要，但力度要比从零训练克制一些。我这次用的训练增强组合是RandomResizedCrop、RandomHorizontalFlip和适度的ColorJitter，验证集只用Resize加CenterCrop，绝不让验证集参与任何随机增强。

这里有个值得注意的教训：如果你的分类任务对颜色、纹理这类属性很敏感，ColorJitter的强度一定要控制好。我在实验中发现，ColorJitter拉得太强，模型在验证集上表现反而下降，因为增强把类别间的关键区分信号给“搅浑”了。我最后把ColorJitter的亮度、对比度、饱和度因子都压在0.2以内，效果才恢复正常。

数据增强的本质是做数据分布的鲁棒化，但过头了会把任务本身也增强没了，这个分寸得靠实验去摸。

2.5 输出层和损失函数的小细节

修改预训练模型输出层时，常用做法是把最后一层全连接替换成符合自己类别数的线性层。以ResNet18为例，它最后fc层的输入维度是512，替换代码就一行：

model.fc = nn.Linear(model.fc.in_features, 6)

注意损失函数的选择。图像分类任务用CrossEntropyLoss，这个函数内部已经集成了Softmax，所以模型最后一层不要手动加Softmax，否则等于做了两次指数归一化，训练初期loss会异常且梯度不稳定。另外标签必须是从0开始的连续整数，如果有类别缺失，标签编码要提前处理好，否则CrossEntropyLoss会直接报错。

3. 实操全流程：PyTorch微调ResNet的完整记录

3.1 数据准备：目录结构、加载与增强

我这边的数据目录采用ImageFolder的标准结构，每个类别一个子目录，名字就是类别名，省去手写Dataset的麻烦：

data/ ├── train/ │ ├── class_0/ │ ├── class_1/ │ └── class_2/ └── val/ ├── class_0/ ├── class_1/ └── class_2/

加载代码非常标准：

import torch import torch.nn as nn import torch.optim as optim import torchvision from torchvision import transforms, datasets from torchvision.models import resnet18, ResNet18_Weights train_tf = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(0.2, 0.2, 0.2), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) val_tf = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_ds = datasets.ImageFolder("data/train", transform=train_tf) val_ds = datasets.ImageFolder("data/val", transform=val_tf) train_loader = torch.utils.data.DataLoader(train_ds, batch_size=32, shuffle=True, num_workers=4) val_loader = torch.utils.data.DataLoader(val_ds, batch_size=32, shuffle=False, num_workers=4)

batch_size我选32，这个值对我手头的显存来说是安全的。num_workers按机器CPU核心数调，能明显加速数据读取，但Windows上偶尔有兼容问题，如果遇到卡死可以降到0先跑通。

3.2 模型搭建：加载权重、改分类头、冻结参数

模型部分用torchvision新版API加载预训练权重，注意不同版本的API差异，旧版本是pretrained=True，新版本推荐用weights参数：

model = resnet18(weights=ResNet18_Weights.IMAGENET1K_V1) model.fc = nn.Linear(model.fc.in_features, 6) # 第一阶段：冻结整个backbone for name, param in model.named_parameters(): if not name.startswith("fc"): param.requires_grad = False optimizer = optim.SGD([ {"params": model.fc.parameters(), "lr": 1e-3} ], momentum=0.9, weight_decay=1e-4)

model.fc.in_features这个写法很实用，不用硬编码512，换ResNet50、EfficientNet都通用。需要提醒的是，改完fc层之后不要试图直接加载原来的完整state_dict，因为最后一层key对不上，会报unexpected key错误。

第一阶段训练结束后进入第二阶段，我把layer4和fc解冻，其余层继续冻结：

for name, param in model.named_parameters(): if name.startswith("layer4") or name.startswith("fc"): param.requires_grad = True else: param.requires_grad = False optimizer = optim.SGD([ {"params": [p for n, p in model.named_parameters() if p.requires_grad], "lr": 1e-4} ], momentum=0.9, weight_decay=1e-4)

这里有个小技巧：用列表推导式筛出所有requires_grad的参数组，就不用手动维护两段参数列表了，换解冻策略的时候代码改动最小。

3.3 训练循环：从第一行代码到模型保存

训练循环是整篇文章的地基，我习惯把训练和验证各封装成函数，方便复用。关键点在混合精度训练，用torch.cuda.amp能把显存占用压下来一小半，训练速度也有肉眼可见的提升，对显存吃紧的场景几乎是必备技能。

def train_one_epoch(model, loader, optimizer, criterion, scaler, device): model.train() total_loss, correct, total = 0, 0, 0 for images, labels in loader: images, labels = images.to(device), labels.to(device) optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs = model(images) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() total_loss += loss.item() * images.size(0) correct += (outputs.argmax(1) == labels).sum().item() total += labels.size(0) return total_loss / total, correct / total def validate(model, loader, criterion, device): model.eval() total_loss, correct, total = 0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels = images.to(device), labels.to(device) outputs = model(images) loss = criterion(outputs, labels) total_loss += loss.item() * images.size(0) correct += (outputs.argmax(1) == labels).sum().item() total += labels.size(0) return total_loss / total, correct / total

主循环里，每个epoch跑完验证集，用验证集准确率判断是否保存最优模型，顺便打印当前进度。我这次用CosineAnnealingLR把学习率随epoch平滑下降，比固定学习率稳不少：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu") criterion = nn.CrossEntropyLoss() scaler = torch.cuda.amp.GradScaler() scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=20) best_acc = 0 for epoch in range(20): train_loss, train_acc = train_one_epoch( model, train_loader, optimizer, criterion, scaler, device) val_loss, val_acc = validate(model, val_loader, criterion, device) scheduler.step() if val_acc > best_acc: best_acc = val_acc torch.save({ "model": model.state_dict(), "optimizer": optimizer.state_dict(), "epoch": epoch, "val_acc": val_acc, }, "best_model.pth") print(f"epoch {epoch+1}: train_loss={train_loss:.4f}, train_acc={train_acc:.4f}, " f"val_loss={val_loss:.4f}, val_acc={val_acc:.4f}")

保存模型时建议带上验证准确率和epoch信息，后面翻实验记录时能省很多事。

3.4 超参数表与两阶段实验结果记录

这篇笔记的实验配置可以直接参考，我整理成表：

两阶段的验证集准确率记录如下。先说明一点，这个数据集是我自己整理的，数字只代表这次任务的情况，大家跑自己的数据肯定会有差异，但趋势是可参考的：

baseline那一步很多人会跳过，我强烈建议不要省。它相当于告诉你预训练特征在你任务上的“出厂水平”，如果baseline已经很高，说明任务和预训练分布非常接近，后面微调空间不大，早停即可；如果baseline很低，说明分布差异大，可能需要更激进的解冻策略。

3.5 训练曲线怎么读：Loss和准确率背后的信号

训练过程中我把每个epoch的loss和准确率都打印出来，再画成曲线，读曲线是有讲究的。

阶段一的训练loss快速下降，验证准确率在85%到89%之间波动，训练结束时稳定在91%出头。这个阶段的特点是分类头在快速寻找预训练特征空间里“最合适”的线性分割面，波动是正常的。

进入阶段二，训练loss会先小幅跳一下，因为layer4的BN统计量重新开始更新，短暂震荡后又继续下降。此时验证准确率阶梯式上升，最后来到96.8%的平台期。平台期就是损失不再明显下降、准确率反复横跳的区间，到了这个状态基本就该停了，再训也是白烧电。

我自己读曲线还有一个习惯：如果验证loss持续上升而训练loss还在降，说明正在过拟合，应该立刻早停或者加大weight decay；如果两个loss都在高位震荡，先怀疑学习率是不是太大，再查数据有没有问题。曲线是最直接的反馈信号，比一堆训练日志直观得多。

4. 调参与踩坑实录：六个高频问题一次说清

4.1 加载预训练权重报错：底层API变了

这个问题我遇到过两次，都是torchvision版本升级导致的。旧版写法是：

model = resnet18(pretrained=True)

新版本更推荐：

model = resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)

如果你用旧写法跑新版torchvision，会收到DeprecationWarning，版本跨度大时甚至直接报错。另外，自己改过fc层之后加载权重，经常出现“Unexpected key(s) in state_dict: 'fc.weight', 'fc.bias'”这种提示，原因是fc层形状变了。解决办法是按我上面写的流程：先加载预训练权重，再替换fc层，顺序不能反。

4.2 训练Loss变成NaN：先查这三件事

NaN是深度学习调参路上最著名的噩梦。我这次的实践经验是，按顺序排查三件事。

第一，学习率过大。尤其阶段一新加的fc层是随机初始化的，如果学习率给到1e-2甚至更大，loss第一轮就能飞到NaN。解决办法是把fc层学习率降到1e-3以下，还不行就一路降到1e-4。

第二，数据里有问题。比如图片损坏导致读入全零、标签出现负数或者超出类别数。用ImageFolder加载时基本不会出现标签问题，但图片损坏是可能存在的，多线程加载时不一定会立刻抛错，表现就是某个batch的loss突然异常。排查方法是在训练前遍历一遍数据集，把形状不对、像素值异常的样本筛掉。

第三，混合精度的缩放参数异常。用AMP时如果出现loss损失极小或梯度爆炸，可以先关闭GradScaler，纯FP32跑几个step对比，定位是不是精度问题。

4.3 验证集精度上不去：过拟合和增强过度

这个问题的特征很典型：训练集准确率一路冲高，验证集准确率迟迟不动，甚至往下掉。我踩过一次“增强过度”的坑，当时把ColorJitter调得比较激进，模型在训练集上的augmented样本间找不到稳定规律，验证集表现一塌糊涂。把增强强度降下来之后，效果立刻恢复了。

另一个常见原因是dropout和weight decay不足。微调阶段backbone已经很强，新fc层很容易把训练集背下来，建议weight decay至少给到1e-4，如果验证集和训练集差距超过5到8个点，可以尝试把weight decay调到1e-3或者增加dropout。

还有一点，验证集划分本身要合理。图片不能有重复或泄漏，否则验证集数字虚高，看起来“精度上不去”其实是假问题。

4.4 显存不够：四板斧逐个上

显存不够是学习阶段的家常便饭，我的应对顺序很明确。

第一板斧：开混合精度AMP，显存能省三分之一到一半。第二板斧：减小batch_size，比如从32降到16，大不了多跑几个step。第三板斧：梯度累积，用时间换显存，逻辑是每N个小batch累积一次梯度再更新，效果等效于把batch_size放大N倍。代码片段如下：

accum_steps = 4 for i, (images, labels) in enumerate(loader): images, labels = images.to(device), labels.to(device) with torch.cuda.amp.autocast(): outputs = model(images) loss = criterion(outputs, labels) / accum_steps scaler.scale(loss).backward() if (i + 1) % accum_steps == 0: scaler.step(optimizer) scaler.update() optimizer.zero_grad()

第四板斧：冻结更多层。如果第二阶段显存还是爆，就把layer4也冻结，只解冻fc，损失一点精度但能跑起来。实在不行就换更小的模型，比如EfficientNet系列或者MobileNet，微调同样能出结果。

4.5 BN“幻觉精度”：冻结模式的隐形陷阱

这个坑特别隐蔽，值得单独说。前面提到，BN层在train模式下会更新running_mean和running_var，哪怕它的weight和bias被requires_grad=False锁住了。我在实验中发现一个现象：冻结阶段如果让整个模型保持train模式，验证集准确率会随着epoch小幅震荡，甚至出现“训练时高、验证时掉”的诡异情况。

原因是BN统计量在训练过程中不断被当前batch“污染”，但验证时BN用的是更新后的统计量，两边的行为对不上。解决方法是本文2.2节的做法：冻结backbone时把backbone切成eval模式，只让fc层训练。如果你后续全量微调，就放心让整个网络处于train模式，BN会跟着参数一起适配，不会出现这种错位。

4.6 实验复现不稳定：随机种子和验证集划分

最后一个问题是我自己反复栽跟头的：同一套代码跑两次，结果能差一到两个点。原因是PyTorch、NumPy、Python随机数的种子都没固定，数据加载的shuffle顺序每次都不一样。如果是做实验记录、对比方案，不固定种子会严重影响判断。

建议在训练脚本开头固定所有能固定的人为随机性：

import random import numpy as np import torch seed = 42 random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)

同时尽量保证验证集划分固定不变，用统一的拆分文件或固定随机种子生成划分索引。这样两次实验的差异才真正来自模型或参数变化，而不是运气。

整套流程走下来，我的体感是迁移学习并不是什么高深技巧，它更像一个工程决策：什么时候该复用、复用哪几层、给多大的学习率，都需要用数据和实验去回答。最后再分享两个我这段时间养成的习惯。第一，每次开始调参之前，先拿预训练模型原地跑一遍验证集，把baseline记下来，后续所有操作都要能解释“比baseline好在哪”；第二，保存模型文件名里一定带上best_acc和日期，比如resnet18_96.8_0105.pth，翻旧模型时不用一个个加载去看。迁移学习不是万能的，但它确实是数据量有限时最值得优先尝试的路线，希望这篇笔记能帮大家在微调的路上少走几个弯路。