别只盯着ResNet！用PyTorch在FER2013表情识别上，我试了VGG和DenseNet，结果有点意外

超越ResNet：FER2013表情识别中VGG与DenseNet的实战对比

当开发者们习惯性地将ResNet作为计算机视觉任务的默认选择时，我们是否忽略了其他经典架构在特定场景下的潜力？本文将通过FER2013表情识别这一具体任务，带您深入探索VGG、ResNet和DenseNet三种架构的实际表现差异，揭示那些在标准基准测试之外的有趣发现。

1. 实验设计与环境搭建

表情识别作为情感计算的重要分支，在智能交互、心理健康监测等领域有着广泛应用。FER2013数据集包含7类基本表情（愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中性），总计约3.6万张48×48像素的灰度图像。这个数据集有几个显著特点：

• 标签噪声：众包标注导致约30%的样本存在标注偏差
• 类别不平衡：中性表情占比最高(约25%)，厌恶表情最少(约5%)
• 姿态多样性：人脸角度和遮挡情况变化较大

我们的实验环境配置如下：

# 关键环境配置 import torch import torchvision print(f"PyTorch版本: {torch.__version__}") print(f"CUDA可用: {torch.cuda.is_available()}") print(f"cuDNN版本: {torch.backends.cudnn.version()}") # 典型输出结果 PyTorch版本: 1.12.1+cu113 CUDA可用: True cuDNN版本: 8200

硬件配置方面，我们使用NVIDIA RTX 3090显卡(24GB显存)进行所有实验，确保不同模型间的对比公平性。数据预处理流程采用以下组合：

1. 基础处理：

   • 随机水平翻转(p=0.5)
   • 随机旋转(±15度)
   • 标准化(mean=0.5, std=0.5)

2. 高级增强：

   • ColorJitter(亮度、对比度各0.1)
   • RandomErasing(p=0.2, scale=(0.02, 0.1))

提示：对于小尺寸图像(如48×48)，建议将RandomErasing的scale上限设为0.1，避免过度擦除关键特征。

2. 三大架构的PyTorch实现对比

2.1 VGG：经典中的经典

VGG的核心思想是通过堆叠小卷积核(3×3)来构建深层网络。我们在实验中实现了VGG-16的变体：

class VGG(nn.Module): def __init__(self, num_classes=7): super().__init__() self.features = nn.Sequential( nn.Conv2d(1, 64, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(64, 64, kernel_size=3, padding=1), nn.ReLU(inplace=True), nn.MaxPool2d(kernel_size=2, stride=2), # 后续层类似... ) self.classifier = nn.Sequential( nn.Linear(512 * 2 * 2, 4096), # 输入尺寸适配48x48 nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, 4096), nn.ReLU(inplace=True), nn.Dropout(), nn.Linear(4096, num_classes), )

VGG的关键特点包括：

• 参数量大：全连接层占据大部分参数
• 内存消耗高：中间特征图尺寸较大
• 训练稳定：小卷积核带来平滑的优化曲线

2.2 ResNet：残差连接的革命

我们实现了ResNet-18和ResNet-34进行对比，核心的BasicBlock设计如下：

class BasicBlock(nn.Module): expansion = 1 def __init__(self, in_planes, planes, stride=1): super().__init__() self.conv1 = nn.Conv2d( in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d( planes, planes, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.shortcut = nn.Sequential() if stride != 1 or in_planes != self.expansion*planes: self.shortcut = nn.Sequential( nn.Conv2d(in_planes, self.expansion*planes, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(self.expansion*planes) ) def forward(self, x): out = F.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = F.relu(out) return out

ResNet的创新点在于：

• 残差学习：解决深层网络退化问题
• 参数效率：通过identity mapping减少冗余参数
• 梯度流动：跳跃连接改善反向传播

2.3 DenseNet：特征重用的极致

DenseNet-121的实现展示了其独特的密集连接机制：

class DenseBlock(nn.Module): def __init__(self, num_layers, in_channels, growth_rate): super().__init__() self.layers = nn.ModuleList() for i in range(num_layers): self.layers.append( nn.Sequential( nn.BatchNorm2d(in_channels + i * growth_rate), nn.ReLU(inplace=True), nn.Conv2d(in_channels + i * growth_rate, growth_rate, kernel_size=3, padding=1), ) ) def forward(self, x): features = [x] for layer in self.layers: new_features = layer(torch.cat(features, dim=1)) features.append(new_features) return torch.cat(features, dim=1)

DenseNet的显著优势包括：

• 特征复用：每层接收前面所有层的特征
• 参数效率：growth_rate控制特征增长
• 隐式深度监督：各层都能直接访问原始特征

3. 训练策略与超参数调优

3.1 学习率调度与优化器配置

我们采用分阶段学习率策略配合余弦退火：

optimizer = torch.optim.SGD( model.parameters(), lr=0.1, momentum=0.9, weight_decay=1e-4 ) scheduler = torch.optim.lr_scheduler.OneCycleLR( optimizer, max_lr=0.1, steps_per_epoch=len(train_loader), epochs=200, pct_start=0.3 )

关键训练参数配置：

3.2 应对FER2013的特殊挑战

针对数据集的三个主要问题，我们采取以下对策：

1. 标签噪声：
   • 使用Label Smoothing(ε=0.1)
   • 引入Mixup数据增强(α=0.2)

def mixup_data(x, y, alpha=0.2): if alpha > 0: lam = np.random.beta(alpha, alpha) else: lam = 1 batch_size = x.size()[0] index = torch.randperm(batch_size) mixed_x = lam * x + (1 - lam) * x[index] y_a, y_b = y, y[index] return mixed_x, y_a, y_b, lam

2. 类别不平衡：

   • 采用加权随机采样
   • 在损失函数中使用类别权重

3. 姿态多样性：

   • 加强空间变换增强
   • 使用注意力机制辅助定位

4. 实验结果与深度分析

经过200个epoch的训练，三种架构的表现对比如下：

注意：所有结果均为三次运行的平均值，测试在相同硬件条件下进行

4.1 性能差异的根源探究

DenseNet表现最优的原因可以从以下几个角度理解：

1. 特征复用机制：

   • 每层都能直接访问原始输入和中间特征
   • 特别适合小尺寸图像(48×48)，避免信息在深层丢失

2. 参数效率：

   • 通过growth_rate(设为32)控制特征增长
   • 过渡层压缩减少计算量

3. 梯度流动：

   • 密集连接提供多条反向传播路径
   • 有效缓解梯度消失问题

4.2 混淆矩阵揭示的挑战

所有模型在以下类别对上表现较差：

• 愤怒(anger) vs 悲伤(sadness)
• 恐惧(fear) vs 惊讶(surprise)

这反映了表情识别中的固有难点：

• 面部肌肉运动相似性：某些表情的AU(Action Unit)组合相近
• 文化差异：标注者的主观判断影响标签一致性
• 低分辨率限制：48×48像素丢失细节信息

4.3 推理效率对比

在实际部署场景中，我们还需要考虑推理速度：

虽然DenseNet参数最少，但由于特征拼接操作，其显存占用和计算复杂度并不低。在实际应用中需要权衡准确率和推理效率。

5. 超越基准的实用技巧

基于大量实验，我们总结出以下提升FER2013表现的实用技巧：

5.1 数据增强的黄金组合

train_transform = transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomRotation(15), transforms.ColorJitter(brightness=0.1, contrast=0.1), transforms.RandomResizedCrop(48, scale=(0.9, 1.0)), transforms.ToTensor(), transforms.Normalize(0.5, 0.5), transforms.RandomErasing(p=0.2, scale=(0.02, 0.1)) ])

这个组合在保持语义合理性的同时最大化数据多样性。

5.2 模型微调策略

1. 渐进式解冻：

   • 先训练分类头(3个epoch)
   • 逐步解冻深层特征提取器
   • 最后微调全部层

2. 差分学习率：

   optimizer = torch.optim.SGD([ {'params': model.features.parameters(), 'lr': 0.001}, {'params': model.classifier.parameters(), 'lr': 0.01} ], momentum=0.9)

5.3 集成学习方案

我们尝试了两种集成方法：

1. 模型平均：

   • 同时训练VGG、ResNet、DenseNet
   • 取三个模型预测概率的平均

2. Snapshot Ensemble：

   • 单个模型训练过程中保存多个快照
   • 测试时聚合多个快照的预测

集成方法能将准确率进一步提升1-2个百分点，但代价是3倍的推理计算量。

6. 架构选择的实践指南

根据我们的实验经验，为不同场景推荐以下选择：

特别值得注意的是，当处理类似FER2013的小尺寸图像时，DenseNet的密集连接机制展现出独特优势。而在ImageNet等大数据集上观察到的ResNet优势，在表情识别任务中并不那么明显。