从L2到SRGAN：感知损失与对抗训练如何提升超分质感

简介：这份SRGAN图像超分辨率项目资料面向深度学习与图像处理方向的学习者和研究者，聚焦4倍放大时如何恢复照片级纹理细节这一核心难题。内容围绕生成对抗网络展开，涉及对抗损失、感知损失与内容损失的组合设计，可用于理解感知质量与峰值信噪比之间的取舍。压缩包共1198个文件、约156MB，主体为TensorBoard训练事件记录，另含Python源码、XML配置、示例JPG图像、PTH模型权重及少量编译缓存，覆盖训练日志、代码实现与权重文件等环节。已有2545人学习，说明其在超分入门与复现实验中具有一定参考价值。读者可据此梳理SRGAN的训练与推理脉络，观察损失曲线和生成效果，结合示例图与权重开展对比实验，并加深对GAN超分评价方式与公共基准测试的理解。

1. 反直觉：PSNR 最高的那张超分辨率图，往往是最糊的

把一张 128×128 的图放大 4 倍，用 L2 损失训一个超分辨率网络，PSNR 能刷到 32dB；换成 SRGAN 这套生成对抗网络，PSNR 反而掉到 29dB 上下。可两张图并排放大到 200%，前者像被水洗过一遍的蜡像，后者能看出砖墙的颗粒、毛发的分叉。这个反直觉的落差，是深度学习做图像处理时最容易被忽略的一条分界线：像素误差和人类感知，优化的根本不是同一个东西。

搞懂 SRGAN 的价值不在于多记一套网络结构，而在于搞明白损失函数如何直接决定输出的质感。我见过太多超分模型翻车，原因不是网络不够深、数据不够多，而是目标函数从第一行就写错了方向。

2. 感知-失真权衡：SRGAN 到底在优化什么

先给结论：SRGAN 把「超分辨率」从一道回归题改写成了分布匹配题。回归题问的是「这张 LR 对应的 HR 最可能是哪一张」，分布匹配问的是「这张 LR 对应的 HR 应该长什么样、看起来像不像一张真照片」。两种问法导出的最优解完全不同，而差别全部来自损失函数。

2.1 条件均值：L2 损失为什么注定抹掉高频

把超分写成概率问题：给定低分图 $x$，高分图 $y$ 并不是唯一的。一块 4×4 的模糊区域，可能对应砖缝、可能对应织物纹理、也可能对应噪声，这些解在人眼看来都合理。L2 损失的最优解是条件期望：

$$\arg\min_f \mathbb{E}\left[(y - f(x))^2\right] ;\Longrightarrow; f^*(x) = \mathbb{E}[y \mid x]$$

也就是说，网络会输出所有合理答案的平均值。多个模态一平均，高频就被抹平了：纹理朝向互相抵消，边缘被拉成渐变，人脸细节变成光滑的面具。这不是网络没学好，这是它学得太好了——它精确地算出了均方误差意义下的最优解，只不过这个最优解恰好是人眼最讨厌的那种「安全但模糊」。

理解了这一点，后面所有设计就顺了：要让输出避开均值、落到某一个真实模态上，就必须引入一个不惩罚「选了其中一个答案」的损失项。对抗损失正是干这个的。

2.2 感知损失的两段式结构：内容项和对抗项各管什么

SRGAN 的目标函数是两项相加，形式很朴素：

$$L = \underbrace{L_{content}}{\text{别跑偏}} + \underbrace{10^{-3} \cdot L{adv}}_{\text{别糊掉}}$$

内容项约束「生成结果和真值在语义上还是一张图」，对抗项约束「生成结果的纹理统计分布和真照片一致」。前者的作用是拴住后者——如果没有内容项，生成器会往判别器容易骗的方向自由发挥，颜色、结构全部漂移，出来的东西纹理很锐但已经不是原来那张图了。

关键在于内容项不再比对像素。SRGAN 用的是特征空间里的欧氏距离：

$$L_{content} = \frac{1}{W H}\sum_{i,j}\left(\phi(y){i,j} - \phi(G(x)){i,j}\right)^2$$

其中 $\phi$ 是一个冻结的预训练分类网络提取的特征图。同一块区域，像素值差一点点可能毫无视觉差异（比如整体平移半个像素），但特征空间里差异巨大；反过来，两种完全不同但都合理的纹理，像素差很大，特征空间的响应却接近。这个性质恰好匹配人眼。

系数 $10^{-3}$ 值得单独说一句：它非常小，意味着对抗项在数值上根本不是主导，它只是在内容项找到的那个「大致正确的解」附近，把结果往「有纹理」的方向推一把。很多复现失败就是把这一项调到 0.1 甚至 1，结果生成器彻底放飞。

2.3 特征空间的选择：为什么取 relu5_4 而不是最后一层

选哪一层特征，等价于选「用多大尺度的语义来约束内容」。太浅（前两三个卷积块）的特征图基本还是边缘和颜色，拿来算距离接近比像素，模糊问题依旧；太深（最后的全连接前那层）空间分辨率已经被池化压没了，位置信息丢失，重建出来会结构错乱。

常见的实现思路是取 19 层分类网络里第 4 个池化之前的卷积输出，也就是常说的 relu5_4 那一层的激活前特征图，这时特征图还有 1/8 的分辨率，既保留了空间结构，又编码了足够的语义。工程实现里一个容易忽略的细节是：必须用激活函数之前的特征，用 ReLU 之后的会丢掉负值区间的信息，重建亮度会偏。

import torch, torch.nn as nn from torchvision.models import vgg19 class PerceptualLoss(nn.Module): """在冻结的分类网络特征空间里算 L2，替代像素级 MSE""" def __init__(self, up_to=36): # features[:36] 恰好截到 relu5_4 之前 super().__init__() feats = vgg19(weights="DEFAULT").features[:up_to].eval() for p in feats.parameters(): p.requires_grad = False # 冻结，只当特征提取器用 self.feats = feats # 输入必须按分类网络训练时的统计量归一化，否则特征分布错位 self.register_buffer("mean", torch.tensor([0.485, 0.456, 0.406]).view(1, 3, 1, 1)) self.register_buffer("std", torch.tensor([0.229, 0.224, 0.225]).view(1, 3, 1, 1)) def forward(self, sr, hr): sr = (sr + 1) / 2 # 生成器输出在 [-1,1]，先还原到 [0,1] hr = (hr + 1) / 2 f_sr = self.feats((sr - self.mean) / self.std) f_hr = self.feats((hr - self.mean) / self.std) return nn.functional.mse_loss(f_sr, f_hr) # 注意：对特征图取均值，不乘系数

这段代码里三个参数决定了成败。up_to=36控制特征层深度，改小了退化成像素损失、改大了空间信息不够；mean/std是硬约束，忘了归一化会让特征图和预训练时的分布错开，损失能下降但图会发灰；(sr+1)/2的反归一化对应生成器末端的tanh，如果生成器不接 tanh（后面会讲为什么很多实现去掉了它），这里也得改。损失值本身是个没有量纲的数，量级大概在 0.1～1 之间，看到它长期停在 0.001 附近，通常意味着特征层被设太浅了。

3. 生成器结构：16 个残差块和两次通道重排怎么把图放大

生成器要做的事可以拆成三件：在低分辨率上提取特征、把分辨率放大 4 倍、把通道数收回到 3。SRGAN 对这三件事的排布有一个非常关键的选择——所有重的卷积计算都发生在放大之前。

3.1 上采样放在末端：把 4 倍的计算量从 HR 空间挪回 LR 空间

最朴素的做法是先把 128×128 双三次插值到 512×512，再跑卷积网络。这样每个卷积核都在 512×512 的网格上滑动，计算量是原来的 16 倍（4 的平方），而多出来的计算没有任何新信息——插值出来的像素本来就是冗余的。

SRGAN 走的是另一条路：主干在 LR 分辨率上跑，最后用两层「卷积 + 通道重排」把分辨率顶上去。做法是先卷出 $C \times r^2$ 个通道，然后把这 $r^2$ 组通道按 $r \times r$ 的网格重新排列成空间像素，这就是 PixelShuffle。它对 4 倍上采样来说，等于每个输出像素由一组独立学出来的卷积核直接算出来，而不是插值插出来的。

对比一下三者的差别就很清楚了：反卷积（转置卷积）在上采样时如果核尺寸不能被步长整除，会出现重叠区域权重不均，这是棋盘格伪影的经典来源；双三次插值没有任何可学习参数，等于放弃了这一段的表达能力；亚像素重排把上采样变成了纯内存重排，没有重复计算、没有重叠累加，代价是它只能表达「固定网格」的放大，做不了任意尺度的缩放。

一个容易踩的坑是输出通道的顺序。PixelShuffle 的重排是先按通道分块再按空间排列，如果直接用view手工拼，顺序很容易搞反，结果图看起来像被切碎重排过的马赛克 —— 用官方算子最稳妥。

3.2 残差块与 BN：16 个块怎么堆才不退化

生成器主干是一串结构相同的残差块，每个块里两个 3×3 卷积，输入通过恒等捷径直接加到输出上。这个设计解决的是深度带来的退化问题：堆到 16 个块，即使某些块的权重学成了接近零，信号也能沿捷径无损穿过，不会因为层层卷积把原始的低频信息磨没。对于超分任务来说这一点比分类任务更致命，因为超分的输出必须严格保留输入的低频结构，任何一点漂移都会变成可见的色偏。

块与块之间用 PReLU 而不是 ReLU，原因是 ReLU 会把负响应直接清零，而图像重建里负值携带着对比度信息，大量清零会让重建结果整体偏亮偏平。

真正的取舍点在于 BN。SRGAN 的残差块里保留了 BN，这在当时是跟随主流分类网络的习惯。但后来的工作普遍把它删掉了，原因很实在：BN 在训练时用 batch 统计量归一化，推理时用滑动平均，两者不一致时会在输出上留下与 batch 内容相关的轻微色差和伪影；而超分是逐像素保真的任务，对这类扰动比分类敏感得多。去掉 BN 还有个副作用是省显存，16 个残差块两边各一个 BN，占的参数和显存都不算少。如果在自己的数据上看到同一张图在不同 batch 里出来的色调有细微跳动，先怀疑这里。

3.3 生成器的最小实现与每个参数的由来

import torch, torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, ch=64): super().__init__() self.body = nn.Sequential( nn.Conv2d(ch, ch, 3, padding=1), nn.BatchNorm2d(ch), nn.PReLU(), nn.Conv2d(ch, ch, 3, padding=1), nn.BatchNorm2d(ch), ) def forward(self, x): return x + self.body(x) # 恒等捷径，padding=1 保证尺寸不变才能相加 class UpsampleBlock(nn.Module): def __init__(self, ch=64, r=2): super().__init__() self.conv = nn.Conv2d(ch, ch * r * r, 3, padding=1) # 卷出 r^2 倍通道 self.ps = nn.PixelShuffle(r) # (B,C*r^2,H,W)->(B,C,H*r,W*r) self.act = nn.PReLU() def forward(self, x): return self.act(self.ps(self.conv(x))) # 先重排再激活，顺序别反 class Generator(nn.Module): def __init__(self, scale=4, n_blocks=16, ch=64): super().__init__() self.head = nn.Conv2d(3, ch, 9, padding=4) # 大核抓低频，9x9 是经验值 self.body = nn.Sequential(*[ResidualBlock(ch) for _ in range(n_blocks)]) self.body_tail = nn.Sequential(nn.Conv2d(ch, ch, 3, padding=1), nn.BatchNorm2d(ch)) self.ups = nn.Sequential(*[UpsampleBlock(ch, 2) for _ in range(scale // 2)]) self.tail = nn.Conv2d(ch, 3, 9, padding=4) def forward(self, x): h = self.head(x) h = h + self.body_tail(self.body(h)) # 全局捷径，跨过 16 个块 return torch.tanh(self.tail(self.ups(h))) # 输出到 [-1,1]

scale // 2决定了上采样块的数量：放大 4 倍用两个 2 倍块，放大 8 倍用三个。之所以坚持每次 2 倍，是因为单次 4 倍重排要让卷积一次卷出 16 倍通道，参数量和网格效应都会变差。

head和tail用 9×9 大核、中间用 3×3 小核，这个不对称是有意的：首尾负责感受野覆盖和最终像素合成，需要大核；中部 16 个块负责非线性变换，堆 3×3 更省参数也更稳。

tanh把输出压到 [-1,1]，配合训练数据也归一化到同一区间。但 tanh 在接近饱和区梯度极小，深色和过曝区域容易学不动，所以不少实现把它去掉、改用直接输出再加裁剪。改的时候记得同步改损失函数里的反归一化，两处不一致是新手最常见的翻车点——损失能降，但出来的图整体偏灰。

4. 判别器与训练动力学：这场博弈为什么不会崩

生成器再精巧，没有判别器给它提供「纹理是否真实」的梯度，它还是只会输出条件均值。判别器的结构比生成器简单得多，但它的行为方式和训练节奏才是真正难调的部分。

4.1 判别器判的不是「整张图像不像照片」，而是纹理统计像不像

SRGAN 的判别器是一串 3×3 卷积，通道从 64 逐级翻倍到 512，每次翻倍时用 stride=2 把分辨率减半，每个卷积后接 BN 和斜率为 0.2 的 LeakyReLU，最后接全连接输出一个标量。整个网络没有池化层，全部靠步长卷积降维，这样判别依据是局部感受野里的统计特性，而不是全局布局。

这个设计意图很明确：判别器的深层特征图上一个位置对应原图一大块区域，它输出的「真/假」实际上是这一块区域纹理是否自然的判断，再对整张图做平均。换句话说，它不看这张图「是不是猫」，只看这块区域的纹理「是不是照片里会出现的那种纹理」。

这也解释了为什么判别器不能太强。如果它一眼就能分出真假，说明它抓住的是生成器根本改不动的硬性缺陷（比如色彩偏移、明显的接缝），这时它对生成器的梯度几乎没有信息量，只剩一个「你全错了」的标量，训练立刻停滞。理想状态是判别器在 60%～80% 的准确率附近徘徊，梯度既有方向又不至于饱和。

4.2 损失函数的写法：非饱和形式与梯度尺度

原始 GAN 的生成器损失写成 $\log(1 - D(G(x)))$，问题在于训练初期判别器很容易判定生成图是假，$D(G(x)) \approx 0$，此时这一项的梯度趋近于零，生成器学不到东西。SRGAN 用的是等价的非饱和形式：

$$L_{adv} = -\log D(G(x))$$

两者在理论上的最优点一致，但梯度行为完全不同：当 $D(G(x)) \to 0$ 时，$-\log D$ 的梯度反而很大，生成器在最需要被推一把的时候恰好拿到最强的信号。这是个纯工程导向的改写，但它是 GAN 能训起来的前提之一。

实践里还会加两个小动作。一是判别器用带 logits 的二元交叉熵（BCEWithLogitsLoss），数值稳定性比先 sigmoid 再算 BCE 好得多；二是真样本标签用 0.9 而不是 1.0，也就是标签平滑，防止判别器对真样本过度自信把 logits 推得极大，反过来压缩生成器的梯度空间。

4.3 交替训练节奏与预训练初始化

g, d = Generator().to(dev), Discriminator().to(dev) g_opt = torch.optim.Adam(g.parameters(), lr=1e-4, betas=(0.9, 0.999)) d_opt = torch.optim.Adam(d.parameters(), lr=1e-4, betas=(0.9, 0.999)) bce, percep = nn.BCEWithLogitsLoss(), PerceptualLoss().to(dev) # 关键前置：先用纯内容损失把生成器训到收敛，再接入对抗训练 # 否则判别器开局就碾压，生成器拿不到有效梯度 for hr in pretrain_loader: lr_img = downsample(hr) loss = percep(g(lr_img), hr) g_opt.zero_grad(); loss.backward(); g_opt.step() for step, hr in enumerate(loader): lr_img = downsample(hr) # 退化方式必须与推理时完全一致 fake = g(lr_img).detach() # 1) 判别器：真假各一次前向，损失取平均 d_opt.zero_grad() d_loss = bce(d(hr), torch.full_like(d(hr), 0.9)) + \ bce(d(fake), torch.zeros_like(d(fake))) d_loss.backward(); d_opt.step() # 2) 生成器：内容项 + 1e-3 * 对抗项，注意这里要重新前向一次 g_opt.zero_grad() fake = g(lr_img) # 不能复用上面的 fake，它带了 detach g_loss = percep(fake, hr) + 1e-3 * bce(d(fake), torch.ones_like(d(fake))) g_loss.backward(); g_opt.step()

几个参数的含义需要点明。lr=1e-4是 GAN 微调的常用量级，比纯监督训练低一档，因为对抗梯度噪声大，学习率高了会震荡；betas=(0.9, 0.999)里第二个动量项调小（比如 0.9）在一些实现里能缓解模式崩塌。判别器那边真样本标签 0.9 是标签平滑，torch.zeros_like对应假样本标签 0，两边都用 logits 版本所以不需要手动 sigmoid。

更新顺序上，每个 step 先更新 D 再更新 G 是最常见的排法。反过来也能训，但 D 会滞后一步，早期更容易被 G 牵着走。如果发现判别器损失迅速趋近 0，可以试着把 D 的学习率降到 G 的 1/5，或者每两次 G 更新才更新一次 D，用更新频率来平衡双方强度。

代码里那个fake.detach()是最容易被漏掉的一行。忘了它，判别器的梯度会一路回传到生成器，两个优化器同时改同一组参数，训练曲线看着正常，但生成器实际上在被两个互相矛盾的目标拉扯。

5. 排查清单：SRGAN 训不动时先看这五个现场

超分训练最难受的地方是它不会报错。损失在降、图在出，就是不对。下面五条是我反复踩过的现场，按出现频率排。

5.1 输出带规则网格状纹理（棋盘格）

现象：把输出放大看，能看出每个 4×4 或 8×8 的方块边界，整张图有细密的网格感，在平滑区域最明显。

原因：上采样用了转置卷积且核尺寸不能被步长整除，相邻输出像素的贡献次数不一致，重叠区权重被放大、非重叠区被削弱。用 PixelShuffle 时如果手工实现了重排且通道顺序错位，也会出现类似的块状切分。

解决：换成nn.PixelShuffle或nn.Upsample(mode='nearest')加普通卷积；已经用了 PixelShuffle 还出现网格，检查重排前卷积的输出通道数是否严格等于C * r * r，以及训练数据预处理里有没有做过非整数倍的裁剪。

5.2 训练若干轮后出现彩色斑块和高频噪点

现象：前期正常，几百到几千 step 后画面开始出现红绿蓝的诡异色块，或者整片高频的沙砾噪点，PSNR 持续下跌。

原因：对抗项权重过大，生成器为了骗判别器开始「堆纹理」，而判别器对颜色统计不敏感，于是纹理越堆越野。另一种可能是内容损失的特征层太浅，约束不住颜色。

解决：把对抗项系数从 1e-2 降回 1e-3 量级先验证是否消失；检查内容损失是否真的在算（很多人把percep(fake, hr)写成了percep(fake, fake)，值恒为 0，对抗项就成了唯一目标，这个 bug 不报错但必然崩）。

5.3 判别器损失几步内掉到 0.01，生成器损失不降

现象：D loss 断崖式下跌并长期贴地，G loss 高位横盘，输出退化成一两种固定纹理。

原因：判别器相对生成器太强。没有预训练生成器就开对抗训练，是最常见的诱因——初始的生成器输出几乎是噪声，D 一眼就能分开，之后再也拉不回来。

解决：先用纯内容损失把生成器训到 PSNR 收敛，再以很小的学习率接入对抗训练；同时降低 D 的学习率或减少 D 的更新次数。还有个简单有效的办法是给 D 的输入加一点高斯噪声，削弱它对高频细节的过度敏感。

5.4 PSNR 一路下跌，但人眼看着越来越清楚

现象：验证集 PSNR 从 32dB 掉到 29dB，SSIM 也降，主观盲测却一致认为新模型更好。

原因：这不是故障，是感知-失真权衡生效了。对抗项让输出偏离条件均值、落到某个具体模态上，与真值的逐像素距离必然变大。

解决：换评价口径。用 LPIPS 这类基于特征距离的指标做辅助，或者直接做小样本盲测排序。同时提醒自己：如果交付方的验收标准就是 PSNR 数值，那根本不该用 GAN，用纯 L2 训到底反而更省事。

5.5 训练集上用 bicubic 下采样，真实场景一塌糊涂

现象：验证集指标漂亮，拿真实手机拍的模糊图或老照片去放大，输出全是塑料感的平滑面和错误纹理。

原因：训练时的 LR 是 HR 经 bicubic 下采样来的，这个退化过程干净、可逆、无噪声；真实图像的退化包含模糊核未知、传感器噪声、JPEG 块效应，与训练分布完全错位。

解决：在数据构造阶段就模拟真实退化，把随机模糊核、下采样方式、噪声、压缩伪影串成一条随机退化链，让模型见到「脏」输入。这一步比换更深的网络收益大得多，也是真实场景能不能用的分水岭。

6. 取舍：把对抗损失当成旋钮，不是当成开关

SRGAN 最容易被误读的地方，是把它当成一个「更先进的超分模型」。它其实是一次取舍的公开声明：放弃一部分像素保真，换回一部分感知真实，而且这次交换的比例是可调的——那个 $10^{-3}$ 就是旋钮。

验证这件事的方法其实很土：别只看验证集曲线。挑 20 张覆盖不同内容（人脸、织物、文字、天空渐变、夜景高噪）的图，把 LR 插值、纯 L2 模型、SRGAN 三份结果裁同样大小的局部，打乱顺序找人盲排。文字类内容你大概率会发现 SRGAN 反而更差——它对笔画这种强结构先验的东西容易编造出不存在的细节，而这个错误在 PSNR 上看不出来，在放大看时非常刺眼。这类内容该切回回归模型，或者干脆后处理加一层结构约束。

还有一条容易被忽略的：退化方式决定了模型的上限，网络结构只决定你能不能碰到那个上限。我在一个模拟项目里把 16 个残差块加到 32 个，指标涨了 0.1dB；把训练数据的退化链从单一 bicubic 换成随机模糊加噪声，真实场景的主观质量直接上了一个台阶。算力花在哪里，这笔账要早点算清楚。

从那以后我每次开新的超分训练，都强制先跑一遍「退化一致性检查」：把训练时的下采样函数和推理时的预处理函数并排打印出来，逐行比对尺寸、插值方式、归一化区间，确认没有一处不一致，再启动训练。这个习惯救过我至少三次——其中一次是推理端忘了把输入从 [0,255] 归一化到 [0,1]，模型表现正常但输出整体发白，查了两天才发现。希望帮到你。

本文还有配套的精品资源，点击获取