从两个独立模型各自生成一万张图，怎么看谁更“像”真实图像？早几年大家还在用PSNR拼数值、用SSIM看结构，可到GAN、扩散模型这一代，很多结论都变味了。一张模糊但语义正确的图往往能拿到不错的PSNR，可它跟真实照片差距依旧是肉眼可见的；反过来，两张内容完全不同却有相似纹理的图像，PSNR又可能低得离谱。图像相似度的评价指标这个问题，越做到后面越发现，它根本不是“像不像”的问题，而是“谁的分布更接近真实分布”的问题。今天要聊的FID（Fréchet Inception Distance），正是奔着这个核心痛点去的。它通过Inception网络的深层特征对真实图像集和生成图像集分别建模，再用Fréchet距离量化两个多维高斯分布之间的差异，从而给出一个比像素级指标更贴近人类感知的相似度数值。适合在GAN、扩散模型、图像编辑、超分等场景里评估生成质量，也是很多论文和榜单里绕不开的基准指标。
1. 为什么传统指标在生成模型面前失效——PSNR/SSIM的底层盲区
1.1 PSNR与SSIM到底在算什么
先简单复盘一下过去十几年最常出镜的两个指标。PSNR（峰值信噪比）本质上是逐像素比较：把真实图和生成图的每个像素相减求平方误差，再取平均，最后用峰值信号能量和这个均方误差的比值换算成dB值。它隐含了一个假设——两张图内容完全对应，每个像素都该和另一个像素对齐。SSIM则稍微聪明一点，它在局部窗口里比较亮度、对比度和结构信息，通过滑动窗口的方式计算结构相似度。它的假设依然是“两张图存在点对点的对应关系”。
这两个指标在传统图像压缩、去噪、超分场景下很有用，因为那些任务天然存在“标准答案”。JPEG压缩过的图和原图之间，像素对应关系明确，PSNR和SSIM能很好反映失真程度。
1.2 生成任务的“一对多”特性暴露了指标盲区
问题出现在生成模型上。给GAN一个文本提示“一只在草地上奔跑的柴犬”，这个模型可以输出无数张合法图片：姿势可以不同，毛色深浅可以不同，草地光照可以不同。甚至给扩散模型同一个初始随机噪声，不同采样步数生成的结果也千差万别。这种“一对多”映射根本不存在逐像素的参考答案。
这时候如果硬拿PSNR去衡量，结果会非常荒诞：一张构图、语义都正确的生成图，只要跟某张真实参考图做不到像素对齐，PSNR就是个很低的数字；而一张把参考图稍微模糊一下、加上轻微噪声的复制品，反而能拿到高分。SSIM稍微宽容一点点，但它也是在局部结构对齐的前提下工作，对“物体位置偏移”“视角改变”这类生成模型最常见的多样性变化依然无能为力。
更麻烦的是，生成模型的核心竞争力是“多样性”。如果两批生成图的整体风格和真实图分布一致，PSNR和SSIM根本表达不出这件事——它们只盯着单张对应关系，完全不看整个数据集的分布特性。所以在生成模型领域谈相似度，本质上是讨论“两堆图像的分布有多接近”，而不是“两单张图像有多像”。
1.3 质量源于分布而非个体
改用分布视角之后，思路就清晰了。真实世界有成千上万张自然图像，它们不是光靠某几张图就能代表的，而是构成一个高维空间里的复杂分布。生成模型的目标是让采样出的图像集合填满这个分布的大部分区域，而不是死磕某一张特定图像。FID的出发点正是把“分布距离”量化出来，而不是去追求一个完美的逐像素对应。这种视角转换，是FID能在2017年被Heusel等人提出后迅速成为生成模型主流评价指标的根本原因。
2. 拆解Fréchet距离的数学内核：从一维均值到多维协方差
2.1 从两堆苹果说起：分布距离的直观理解
假设你面前有两堆苹果，一堆来自山东栖霞，一堆来自陕西洛川。只看“平均单果重量”，两堆可能差不多；但如果你把果径、糖度、色泽饱和度放在一起看，两堆的差异就出来了。更严谨一点的做法是，把每堆苹果的多个指标拟合成一个多维高斯分布，每个分布有均值向量和协方差矩阵，然后计算这两个分布之间的“距离”。
Fréchet距离干的就是这件事。它最早用于描述两条曲线之间的相似性，后来被FID引入到高维特征空间。给定真实图像特征分布和生成图像特征分布，如果两者都被近似为多维高斯分布，Fréchet距离的闭式解是：
FID = ||μ_r - μ_g||² + Tr(Σ_r + Σ_g - 2(Σ_r Σ_g)^(1/2))
其中μ_r和Σ_r是真实图像在Inception特征空间里的均值向量和协方差矩阵，μ_g和Σ_g是生成图像的对应统计量，Tr表示矩阵的迹，(Σ_r Σ_g)^(1/2)表示矩阵平方根。
公式第一项衡量的是“平均水平差多少”——两个分布的中心位置偏移。第二项衡量的是“形状和散布方式差多少”——协方差结构是否接近。两者加在一起，刚好能同时惩罚均值偏移和分布形态不一致，比单纯的MLE距离或KL散度更加全面。
2.2 为什么选Inception特征空间而不直接在像素域算
如果直接在RGB像素空间算Fréchet距离，会碰到两个问题：一是像素空间维度过高，一张256×256×3的图就是接近20万维，在这个维数下估计协方差矩阵几乎不可行；二是像素层面的差异跟人类感知并不对齐，相近的RGB值可能来自语义完全不同的内容，而相差几个像素值的不起眼扰动又可能是关键结构差异。
InceptionV3网络（在ImageNet上预训练）的深层特征图刚好解决了这两个问题。它的pool3层输出2048维特征，已经提炼出“图像的抽象语义特征”，包括轮廓、物体部件、纹理模式等高阶信息。相比原始像素，这个特征空间更符合人类对“像不像”的直觉：一张真实柴犬照片和一张生成的柴犬图，即便在像素上差异很大，在Inception特征空间中的位置也应该是接近的。这也是FID能比PSNR/SSIM更贴近感知的原因之一。
不过，用Inception网络也带来一个隐含代价：特征空间的语义偏向ImageNet训练集所在的自然图像分布。如果生成的是医学影像、卫星图、动漫人物这类偏离自然图像的领域，Inception的底层特征未必能很好反映该领域真实的感知差异。这个问题后面会细说。
2.3 两个高斯分布假设成立吗
严格来说，真实图像的高维特征分布并不真正服从高斯分布，FID强行做了高斯近似。这个近似在高维特征空间里并不算特别离谱，原因在于Inception的pool3特征是经过全局平均池化和非线性激活的，中心极限定理效应让它的分布比较接近椭球状。不过当生成图像出现严重模式坍塌或者分布高度多峰时，单个高斯分布就无法刻画真实的分布形态，FID数值会失真。
这也是为什么FID不是万能的，但它仍是一个统计上相对鲁棒、计算稳定、跨实现可比的指标。如果强行要求完全准确的分布估计，可能需要核密度估计或者更复杂的距离度量，成本又太高，不适合作为日常训练监控指标。
3. 手把手复现一遍FID：从特征提取到指标落地的完整链路
3.1 特征提取的标准做法与代码骨架
FID计算整体分三步：提取特征、估计统计量、计算距离。第一步最核心，第二步和第三步都有成熟的现成库，但如果要自己实现或者排查问题，还是得理解每一步发生了什么。
import numpy as np import torch from torchvision.models import inception_v3 from scipy import linalg def get_inception_features(images, device="cuda"): """ images: torch.Tensor, shape (N, C, H, W), 值域需匹配Inception预处理要求 返回: np.ndarray, shape (N, 2048)，来自pool3层输出 """ model = inception_v3(pretrained=True, transform_input=False).to(device) model.eval() feats = [] with torch.no_grad(): for batch in torch.split(images, 32, dim=0): out = model(batch) # 默认返回logits # 截住pool3层特征，通常取model(batch, return_features=True)或钩子 feats.append(out.cpu().numpy()) return np.concatenate(feats, axis=0)更常见的做法是用torchmetrics里的FID模块，或者pytorch-fid这个经典库。torchmetrics的FID内部会自动下载Inception权重、做预处理并抽取特征，使用起来很简单：
from torchmetrics.image.fid import FrechetInceptionDistance fid = FrechetInceptionDistance(feature=2048, normalize=True) fid.update(real_images, real=True) fid.update(fake_images, real=False) score = fid.compute().item()这里有一个容易被忽视的细节：normalize参数。它决定输入图像是否被除以255归一化。如果前一步的图像数据是0到255的整数张量，就必须打开normalize=True，否则内部预处理会再做一次归一化，相当于数据范围被错误缩放。
3.2 数值稳定性处理：协方差矩阵与开根的坑
FID公式里的(Σ_r Σ_g)^(1/2)看起来简单，实际计算时如果直接用scipy.linalg.sqrtm，经常会出现复数警告和协方差矩阵不正定的问题。原因是当样本量不够时，估计出的协方差矩阵可能是病态甚至奇异矩阵。
处理办法有两个。一种是给协方差矩阵的对角线加一个很小的正数扰动，比如epsilon=1e-6：
def sqrtm_safe(A, B): product = A @ B product = (product + product.T) / 2 # 强制对称 eigvals, eigvecs = np.linalg.eigh(product) # 把负特征值修剪到接近零 eigvals = np.clip(eigvals, a_min=0, a_max=None) sqrt_product = eigvecs @ np.diag(np.sqrt(eigvals)) @ eigvecs.T return sqrt_product另一种是用协方差矩阵的“对称平方根”公式，先分别特征分解再乘起来。pytorch-fid处理得比较完善，但它要求真实特征数和生成特征数都大于模型的feature维度（2048维），否则直接抛异常。这个限制很有道理——样本数小于特征维度时，计算出的协方差统计量没有统计意义，强行算出来的FID完全不可信。
3.3 样本量选择——用5000张还是50000张
官方推荐最少10000张，但实际使用中大家常常用5000张或者按验证集大小来。样本量对FID数值的影响非常直接：样本越少，估计出的均值向量和协方差矩阵方差越大，FID本身也更不稳定，前后两次评估可能出现几个整数的抖动。
我实测下来，在合适的图像尺寸和batch大小下，10000张图用V100做特征提取大概也就几分钟，成本完全可接受。如果你发现自己的FID曲线在训练中像心电图一样剧烈波动，先不要怀疑模型崩了，很可能就是样本量太小。另一个更微妙的操作是：评估用的真实图片分布应该和训练数据尽量一致。你拿ImageNet的验证集去评估一个人像生成模型，FID自然不会好看，但这个数字反映的是“领域漂移”，而不是生成质量本身。
4. 实测中让FID数值忽高忽低的隐藏变量
4.1 Inception权重与预处理细节不一致
这一点我相信很多人在复现论文数字时都踩过坑。FID数值强烈依赖InceptionV3的权重来源和预处理方式。官方的pytorch-fid用的是PyTorch自带InceptionV3权重，并通过transform_input=False来跳过网络内部的输入预处理，再由外部单独做resize和归一化。有些第三方库或旧版实现则默认走transform_input=True，导致同样的图片输入不同库得到的特征完全不同，FID数值能差出好几格。
所以，跨论文、跨项目对比FID时，务必确认两端用的是同一个代码库、同一个权重文件、同一个预处理管线。我的建议是：把pytorch-fid或torchmetrics设为你项目的标准依赖，别自己手搓Inception特征提取，手搓版很容易在某个细节上出现偏差。
4.2 Resize、dtype和插值算法
InceptionV3的输入尺寸是299×299。把64×64的生成图放大到299×299，再和同样是放大后的真实图比较，这里面的插值算法（双线性、双三次、最近邻）和图像缩放库（PIL vs OpenCV）都会影响特征分布。不同插值算法带来的差异也许不大，但积累到2048维特征上足以推动FID零点几的波动，对“卡线保指标”的人来说就很致命。
dtype问题也很隐蔽。uint8和float32在归一化时的处理方式完全不同，如果数据管道里混入了类型转换错误，特征分布会被明显改变。我自己遇到过一种情况：训练时用0到1的float32图像，评估时却从Dataloader里取到0到255的整型张量，结果FID瞬间从10跳到40，排查了一下午才发现是数据范围不一致。
4.3 随机种子、batch与缓存策略
很多人以为FID是确定性的，其实它只在一定条件下“近似确定”。如果用随机采样的方式从生成器里抽取评估图片，那么每次抽到的图片集合不同，FID自然在不同seed下有小幅浮动。设置一个固定的评估seed，或者每次评估用同一个预生成的样本池，有利于保证曲线可比。
另外，特征提取过程可能会被batch norm或dropout影响。InceptionV3默认开启BatchNorm，但推理模式（model.eval()）下应该使用running statistics，不随当前batch变化。如果忘了切到eval模式，BatchNorm会根据当前batch统计量重新归一化，在小batch下特征会非常不稳定，FID也会抽风。这个坑我见过不止一次，是典型的配置错误。
4.4 训练曲线与评估时机
FID对训练过程中的权重震荡非常敏感，同一个checkpoint在训练中不同阶段评估，数值差异可能很大。常见的操作是每隔一定迭代次数做一次完整评估，把FID画成曲线。如果你只在训练结束时评估一次，偶然落在震荡低谷或峰值上，很容易得到误导性结论。
更稳妥的做法是记录最近N次评估的FID中位数或均值，而不是取最低值。我自己习惯保存每5000迭代的FID，最后用训练末端最后10次评估的中位数作为最终得分，这样既能排除随机采样带来的单次波动，又能体现模型稳定收敛后的真实水平。
5. FID不是银弹：它的盲区与组合使用策略
5.1 高斯假设与空间结构失明
FID对全局分布的刻画能力强，但对“空间结构”的感知明显偏弱。由于InceptionV3是一个图像分类网络，它更关心“图里有什么”，而不是“这些东西在画面里的位置是否合理”。两张图如果包含相似的物体类别和纹理特征，但在空间排列上完全不同，它们在一个较弱分类网络的特征空间里可能相距不远，FID会给出一个偏乐观的分数。
实际表现为：有些生成模型能拿到不错的FID，但生成的图像存在部位错乱、物体重叠等问题。举个典型例子——人手生成。早期一些GAN生成的“手”细节混乱、六指现象严重，从整体特征分布看并没有严重偏离真实图像，FID甚至比一些手部细节更好但整体构图单调的模型还低。这说明单看FID不足以判断生成图像的局部结构真实性。
5.2 模式坍塌不一定显现在FID上
模式坍塌是生成模型的经典问题：模型只学会了生成少数几类图像，多样性严重缩减。FID对多样性的惩罚体现在协方差矩阵上——如果生成分布的方差明显小于真实分布，公式第二项会变大。但问题在于，Inception特征空间的方差不仅受图像内容多样性影响，还受单个图像内部语义复杂度影响。当一个坍塌模型生成的图像“内容单一但画面复杂”，它的特征方差可能并没有想象中那么小，FID的惩罚力度会被稀释。
这也是为什么很多论文里FID和IS（Inception Score）一起出现。IS更直接地关注“生成的类别多样性”，与FID的分布距离形成互补。如果你只报告FID，很可能会被审稿人或同行追问IS，本质上就是他们担心模式坍塌没有被FID充分体现。
5.3 从业者的组合打法：FID+LPIPS+人工盲测
在实战中我通常不把任何单一指标当作金标准，而是使用一套组合策略。训练阶段用FID做全局监控，因为它稳定、成本可控、跨迭代可比。当FID明显下降时，用LPIPS（Learned Perceptual Image Patch Similarity）随机挑选若干真实图与生成图做逐张配对，衡量感知层面的接近程度。最后再抽几组图做人工盲测——让不参与训练的人辨别真实图和生成图，统计人类正确率。
这套组合拳能覆盖FID的大部分盲区：LPIPS关注单张图像的感知相似和局部结构，人工盲测关注整体视觉可信度。如果FID和LPIPS都好但人工盲测结果糟糕，优先怀疑空间结构问题——很可能是类型正确、位置错乱这类分类网络不敏感的错误。反过来，如果人工盲测结果不错但FID偏高，别急着否定模型，先排查特征提取和数据管线的配置问题，有时是评估流程的bug，不是模型的问题。
6. 指标谱系里的新面孔：SID、LPIPS、CMMD与FID的共处之道
6.1 LPIPS：逐张配对的感知距离
LPIPS在超分辨率、图像复原等任务里用得很多，它要求输入是一对图像。核心思想是用一个预训练网络（如AlexNet、VGG或SqueezeNet）提取多层特征，对特征图逐层计算差异并加权求和。相比FID的“分布距离”，LPIPS更像一个“感知版的MSE”，它仍然是逐张比对的，不适用于没有配对关系的纯生成场景。
但在图像编辑、风格迁移这类有明确输入输出对的场景，LPIPS的价值非常大。它比SSIM更贴近人类感知，对结构变化更敏感。我在评估图像编辑模型时，通常用LPIPS替代SSIM，因为它能捕捉到更细微的语义级变化。
6.2 SID与CMMD：在分布层级上挑战FID
SID（Sliced Inception Distance）这类新指标试图改进FID的稳定性和敏感性。它的思路是通过切片的方式在不同方向上比较分布差异，避免FID对协方差矩阵估计的苛刻要求。在一些实验中SID对样本量更鲁棒，小样本下的表现比FID更稳定。CMMD（基于CLIP的MMD）则把特征提取器从Inception换成CLIP，用最大均值差异来计算分布距离。CLIP的特征空间更强地编码了语义和部分空间信息，对部分FID盲区有改善作用。
不过，新指标的问题在于生态远不如FID成熟。论文榜单还没有大规模采用SID/CMMD，复现时也可能遇到底层实现不统一的情况。我的态度是：可以实验性使用，但没有必要立刻替换FID，除非你的领域与CLIP特征空间明显更匹配，比如文本到图像生成。
6.3 我的最终选型建议
给一个比较务实的参考：通用自然图像生成，我还是建议用FID作为主指标，配合IS和人工评估。医学图像或卫星图像等特定领域，考虑冻结ImageNet权重的FID可能不适用，可以尝试在自建数据集上微调一个特征提取器，或者改用SID/CMMD这类对特征分布更宽容的指标。超分和编辑任务用LPIPS搭配PSNR、SSIM一起报告，不要单独使用FID。
训练过程中，把FID当作“趋势指标”而不是“最终成绩单”。不要因为某一次FID波动就立刻调参，先确认样本量、随机种子和预处理管线是否一致。复现论文数值时，优先查看作者公开代码里的评估脚本，逐行对照预处理的差别，这比怀疑模型结构更可能解决数值对不上的问题。
最后再分享一个我在真实项目里摸出来的小习惯：把特征提取后的特征矩阵保存成npz缓存文件，评估一次后后续复算FID几乎零成本。这样在调超参数时可以快速回看历史checkpoint的FID，不必每次重新跑一遍庞大的特征提取。对于一个动辄上万张图的评估流程来说，这个缓存策略能省下大量时间。FID这个指标本身不复杂，但把它用对、用稳、用得公平，才是真正拉开差距的地方。
