FID指标全面解析：生成模型评估的核心原理与PyTorch实战

做图像生成、超分辨率、图像修复或者风格迁移这类项目的朋友，应该都有一个共同的执念：到底怎么量化“生成得好不好”？早年我用PSNR和SSIM，后来发现这两个指标在GAN和扩散模型面前经常失灵。直到开始认真用FID（Fréchet Inception Distance）评估生成模型，我才算找到一个相对靠谱的衡量手段。

FID的核心思路很直接：把真实图片集和生成图片集分别送进Inception-v3网络提取高层特征，再把两组特征看成两个高斯分布，计算它们之间的Fréchet距离。分数越低，说明两个分布越接近，也就是生成图片在“整体特征分布”上越像真实图片。它同时兼顾了真实性（生成图片是否像真的）和多样性（生成图片是否千篇一律），所以很快成了GAN、扩散模型、图像编辑等领域的事实标准。如果你也在跑生成模型，或者正在对比不同算法的效果，这篇内容值得看完。

1. FID到底在衡量什么？先理解它的设计哲学

1.1 从“像素差异”到“分布差异”

很多人第一次接触FID时都会困惑：为什么不直接对比像素？原因很简单，生成任务不是一个“一对一”的问题，而是一个“一对多”的问题。比如一张真实的人像照片，你让模型生成一张“看起来差不多”的图，合法结果可能有无数种——表情可以不同、背景可以微调、光照可以变化，但在像素层面可能差得非常大。PSNR这类指标是按像素算MSE的，稍微有一点位移或光照变化，分数就会暴跌，可是人眼看过去完全没问题。

FID换了一个思路：我们不要求生成图和某张真实图在像素上一一对应，而是看“真实图片整体”和“生成图片整体”的统计特征是否接近。打个比方，PSNR像是核对身份证照片，必须五官位置、光线都对齐；FID像是比较两个班级的考试成绩分布，不关心某个学生对某个学生，只看整体均值和方差是否相似。这个思路天然适配生成模型，因为生成模型的目标本来就不是复刻某张图，而是学到目标数据分布。

1.2 Inception网络为什么被选中

FID里的“I”就是Inception，具体来说是Inception-v3网络。为什么偏偏选它？因为它是在ImageNet上训练出来的图像分类模型，网络前面的层学到的是边缘、纹理、颜色这些底层视觉特征，越往后的层越接近语义特征。FID取的是Inception-v3最后一个池化层之前的特征，也就是去掉分类层之后得到的2048维向量。这个特征空间里，相似的语义内容会聚集在一起，而光照变化、小范围平移、轻微旋转的影响会被大幅削弱。

用一个更直白的说法：Inception网络就像一个“有经验的老师”，它把每张图浓缩成2048个维度的“评语”。FID要做的，就是比较真实图集的“评语分布”和生成图集的“评语分布”差多少。这里还有一个隐藏假设：这些高维特征近似服从高斯分布。为什么可以这么假设？因为特征向量维度高，受中心极限定理影响，很多实际分布在高维空间里确实能较好地用均值和协方差来刻画。高斯分布只需要两个参数——均值和协方差矩阵，计算上非常方便。虽然现实中特征分布未必是严格高斯，但实验证明用这个近似已经足够管用。

2. FID的计算全流程：公式、代码与坑

2.1 Fréchet距离的直观理解与公式拆解

FID的数学定义来自Fréchet距离，也叫Wasserstein-2距离的一种形式。对于两个多元高斯分布，它有闭式解：

FID = ||μ_r - μ_g||^2 + Tr(C_r + C_g - 2(C_r * C_g)^(1/2))

其中μ_r和C_r是真实图片特征的均值向量和协方差矩阵，μ_g和C_g是生成图片特征的均值向量和协方差矩阵。公式可以拆成两部分理解：左边第一项是两个分布中心点的欧氏距离，它衡量“平均特征”差多少；右边第二项是协方差矩阵的差异，它衡量两个分布在特征空间里的“延展形态”差多少。这两项加起来，既惩罚了生成图片整体偏移，也惩罚了生成图片多样性不足或过度分散。

矩阵的平方根(C_r * C_g)^(1/2)是计算里最容易出问题的地方。它不是元素开根号，而是矩阵的平方根，需要用scipy.linalg.sqrtm来计算。由于是数值计算，经常会出现微小的复数虚部，代码里一般要取实部来消除数值误差。

2.2 完整计算流程：PyTorch实战

我把自己常用的FID计算流程整理一下，你照着跑就能得到可复现的结果。这里假设你已经有了真实图片路径和生成图片路径，生成图片可以是你模型刚输出的一批结果。

第一步，准备特征提取函数。用PyTorch加载预训练的Inception-v3，去掉最后的全连接层，把输出改成平均池化后的2048维特征：

import torch import torch.nn as nn from torchvision import models, transforms from PIL import Image import numpy as np from scipy import linalg import os class InceptionV3Feature(nn.Module): def __init__(self): super().__init__() self.model = models.inception_v3(weights=models.Inception_V3_Weights.IMAGENET1K_V1) # 去掉最后的全连接层，只保留到平均池化层为止 self.model.fc = nn.Identity() self.model.aux_logits = False # 关闭辅助分支，避免影响输出 def forward(self, x): # x: [N, 3, 299, 299] 且像素归一化到 [0, 1] x = self.model(x) return x # [N, 2048]

这里有两个关键点。一是输入尺寸必须是299x299，Inception-v3的原始设计要求就是这个尺寸，很多人习惯性用224，特征虽然也能出来，但和标准FID用法不一致，指标会偏离。二是输入归一化要用ImageNet的标准方式：normalize到[0,1]后，再按mean=[0.485, 0.456, 0.406]和std=[0.229, 0.224, 0.225]做标准化，这个细节直接影响特征质量。

第二步，批量提取特征。图片数量多的时候不要一张张前向，显存够就尽量用大batch，速度差好几倍：

def extract_features(image_dir, model, batch_size=64, device='cuda'): model.to(device).eval() transform = transforms.Compose([ transforms.Resize((299, 299)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) features = [] image_paths = [os.path.join(image_dir, f) for f in os.listdir(image_dir) if f.lower().endswith(('.png', '.jpg', '.jpeg'))] for i in range(0, len(image_paths), batch_size): batch_paths = image_paths[i:i + batch_size] batch = [] for p in batch_paths: img = Image.open(p).convert('RGB') batch.append(transform(img)) batch_tensor = torch.stack(batch).to(device) with torch.no_grad(): feat = model(batch_tensor).cpu().numpy() features.append(feat) return np.concatenate(features, axis=0)

第三步，计算FID。这里有个容易踩的坑：np.cov默认把每一列当成一个变量，而我们的特征是“每行一个样本”，所以必须指定rowvar=False：

def calculate_fid_from_features(real_feats, fake_feats): mu_real = real_feats.mean(axis=0) mu_fake = fake_feats.mean(axis=0) sigma_real = np.cov(real_feats, rowvar=False) sigma_fake = np.cov(fake_feats, rowvar=False) diff = mu_real - mu_fake covmean, _ = linalg.sqrtm(sigma_real.dot(sigma_fake), disp=False) if np.iscomplexobj(covmean): covmean = covmean.real fid = diff.dot(diff) + np.trace(sigma_real + sigma_fake - 2.0 * covmean) return fid

我自己第一次写的时候，忘了关Inception-v3的aux_logits，结果输出维度莫名其妙多了一个分支，特征维度都对不上。这里提醒所有用PyTorch的人：inception_v3默认在训练模式下会返回辅助输出，推理前务必设置model.aux_logits = False，否则你会被折磨很久。

2.3 数值稳定性与实操注意事项

FID的计算不只是“跑通”就行，真正要得到可信的数字，有几个细节必须注意。

样本量是第一大问题。官方FID基准通常用5万张真实图和5万张生成图，因为协方差矩阵要估计2048x2048的参数，样本太少会导致估计方差极大。实际项目中，如果只是对比同一个模型的不同checkpoint，我建议最少也要1000张图，5000张以上会比较稳定。曾经有一次我贪快只用了200张测试图，同一个模型跑了两次，FID一次27.5一次32.1，差距大到完全没法做决策。后来我把真实图特征缓存下来，把生成图数量提到3000张，分数才稳定下来。

提取器权重必须固定。FID是相对指标，它的绝对值依赖于提取特征的Inception-v3权重。TorchVision的预训练权重和TensorFlow官方权重虽然在ImageNet上性能接近，但提取出的特征分布有细微差异，算出来的FID会差零点几甚至更多。所以同一个项目里，所有实验必须使用同一个框架、同一份权重。如果某天你换了框架，之前跑过的FID全部不能直接对比，只能重新跑。

数值误差也可能让你怀疑人生。矩阵平方根计算如果协方差矩阵接近奇异，会得到很小的复数虚部，代码里取real就好了。但如果你发现FID出现负数——理论上FID最小就是0——那基本是数值稳定性问题，可以给协方差矩阵加一个很小的单位阵扰动，比如sigma + 1e-6 * np.eye(dim)，再做矩阵平方根。

3. PSNR、SSIM、FID、LPIPS：四个指标怎么选

3.1 四类指标的底层逻辑差异

很多刚入门的朋友习惯把PSNR、SSIM、FID、LPIPS混在一起讨论，其实它们衡量东西的层级完全不同。

PSNR是最朴素的“像素级差异”，它只看每个像素的误差大小，完全忽略结构和语义。SSIM稍微聪明一点，从亮度、对比度、结构三个维度比较局部窗口，但它本质上仍然要求两幅图在空间上是“对准”的，属于同一位置的局部比较。FID则跳出了“逐对比较”，它比较的是两个图片集合的整体特征分布。LPIPS是另一种深度特征指标，它用预训练网络（比如AlexNet、VGG）提取中间层特征，在这些特征空间里算加权距离，它可以理解成“感知版”的逐对距离。

这里最关键的区别在于：PSNR和SSIM回答的是“这两张图在像素上像不像”，FID回答的是“这两批图在整体分布上像不像”，LPIPS回答的是“这张图和那张图在人眼感知上像不像”。它们的计算粒度不同，适用任务自然不同。

3.2 指标对比速查表

我把四个指标的关键属性整理成了一张表，项目里做选择时直接查就行：

这张表里有个容易忽略的细节：FID是唯一一个“集合对集合”的指标，其余三个都是“单图对单图”。所以在做超分或去噪任务时，原图和结果是一一对应的，用PSNR和SSIM非常自然；但做GAN生成时，生成图没有“标准答案”，只能用FID这类分布指标。

3.3 真实项目里的组合用法

实际项目中我不建议只盯一个指标，因为单一指标都有盲区。比如FID对纹理细节不敏感，你生成一堆模糊但有正确语义的图，FID可能还不错，但人眼一看就露馅。反过来，PSNR可以在某张图上很高，但生成模型整体可能早就模式崩塌了，只是崩塌的那几张图恰好和真实图很像。

我在扩散模型项目里的习惯是：FID做主线指标，LPIPS做辅助指标。主线看整体分布是否收敛，辅助看重建或编辑结果是否贴合人类感知。比如评估图像修复模型时，我会同时报LPIPS和FID：LPIPS衡量修复结果和原图在感知上是否接近，FID衡量修复结果的整体风格是否和真实数据分布一致。如果只报PSNR，你很可能被高PSNR的“涂抹感”结果欺骗，那个指标在模糊图像上经常虚高。

有一个真实案例：一次我做图像超分，模型A的PSNR比模型B高0.3dB，但人眼一看，模型A的结果过度平滑，纹理细节全丢了。后来我加上LPIPS和FID对比，模型A的LPIPS明显更差，FID也略差，这才发现问题。从那以后，我再也不单独用PSNR做生成模型的最终裁决。

4. FID的局限与变体：从静态图到视频生成

4.1 FID的典型局限与使用禁忌

先说清楚FID不是万能的，它有四个让人头疼的局限。

第一个是样本量敏感，这个前面提过了。第二个是特征空间依赖ImageNet分类能力，如果你的任务和自然图像差异很大，比如医学影像、卫星遥感图、显微图像，Inception-v3提取的特征未必能捕捉到对任务最关键的信息，FID分数可能和人的主观感受脱节。第三个是高斯假设不一定成立，虽然大部分时候管用，但如果特征分布是多模态的，只用均值和协方差刻画会丢掉高阶信息。第四个是最容易忽略的：FID不衡量内容对齐。它只看整体分布，完全不关心“生成图集合”和“真实图集合”里的图是否存在一一对应关系。一张图语义被完全改掉，但只要整体分布仍然接近，FID也可能很低。

还有一个使用禁忌：不要用FID做跨数据集对比。你在FFHQ数据集上训的模型FID是8，在CelebA-HQ上训的模型FID是6，这不代表后者更好，因为不同数据集的真实分布难度完全不同。FID只能在同一数据集、同一预处理、同一评估协议下比较。另外，生成图片时的随机种子也会带来分数波动。如果要严格对比两个模型，我建议固定好所有随机种子，并且每个模型各跑三次取平均值，这个习惯能让你少做很多无用功。

4.2 视频生成中的FID扩展

视频生成模型这几年火得不行，但静态图的FID没法直接拿来用，因为视频还有时间维度。业内比较常用的做法是把FID扩展到视频域，最典型的就是FVD（Fréchet Video Distance）。它的思想和FID完全一致，只是把提取特征的基础网络从Inception-v3换成了I3D（Inflated 3D ConvNet），输入也从单帧图像换成了连续的视频片段。

“vid fid”这个词在热词里出现，我理解基本就是指这个方向——用Fréchet距离评估视频生成质量。实际使用中和静态FID有几个明显区别：第一，视频片段怎么截取？固定帧数还是随机采样？现在常见的是采样16帧左右作为一个clip。第二，帧率怎么对齐？生成视频和真实视频如果帧率不同，I3D提取的特征会产生偏差。第三，评估方差更大，因为视频内容本身存在时序变动，所以更需要固定采样策略。

我自己评估视频生成模型时，会把FVD配合“固定起始帧”的策略来做。具体做法是：从真实视频里随机抽起点，生成模型从同一条件帧开始预测后续帧，这样FVD的对比更公平。如果不这么做，模型可能只是生成了一堆和真实视频分布接近但时序完全对不上的画面，FVD看着不错，实际生成能力一塌糊涂。

4.3 那些FID的变体指标，值不值得追

除了FVD，社区里还有不少FID思想的变体。比如热词里提到的SID，在不同的细分领域指的东西不完全一样，但核心思路都是找一个新的特征空间，然后在那个空间里度量两个集合的分布距离。有人用CLIP的特征替代Inception特征做文本到图像生成的评估，有人用DINO这种自监督特征来度量，得到的指标在某些场景下和人眼偏好相关度更高。

我的观点是：新指标可以试，但不要盲追。FID的优势在于它已经有大量历史实验数据积累，社区里任何一个新模型都会报FID，你可以横向对比自己的结果。换一个新特征空间，虽然可能更契合某个细分任务，但很难和别人发布的结果直接对比。我的做法是：主线继续报FID，辅助实验里可以加一个CLIP或DINO特征版本的距离指标，用来验证结论的稳健性。如果两个指标都指向同一个模型更好，那这个结论基本可靠。

至于LPIPS，它在超分、编辑、复原任务里几乎成了标配，因为它和人类感知的相关度确实比PSNR高。但它仍然是单图对单图比较，没法替代FID在GAN训练里的位置。理想的做法是FID和LPIPS一起用：FID看整体，LPIPS看单张感知，两个都过了，再上人工评估，这样踩坑概率最小。

5. 我现在的工作流：FID怎么用才不踩坑

最后分享一点我个人的使用经验。经过这么多项目的打磨，我现在评估生成模型时基本固定了这样一套流程：先固定真实图片特征缓存，保证不同实验之间只有一个变量；生成图片统一数量、统一随机种子、统一采样温度；然后同时报告FID和LPIPS，必要的时候加一个人工评估小样本。

实际操作中，我发现FID更像是一个“体检指标”，而不是“考试分数”。它适合帮你在模型迭代过程中快速发现方向性错误，比如训练不收敛、模式崩塌、采样参数不对，FID会给你明确信号。但它不适合告诉你“这张生成图哪里好哪里坏”，也不适合作为唯一标准去判断一个模型的商业价值。如果你只是盯着FID调参，最后可能得到一个分数好看但实际效果平庸的模型。

还有一个小技巧，调采样参数时特别有用。用FID对比候选checkpoint时，建议每个候选模型在多个随机种子下各跑一遍FID，取中位数和标准差。有一次我在扩散模型上调CFG引导系数，单次FID显示7.8最好，但多跑几次后发现8.0到8.3都很接近，反而是7.8那次是随机波动出来的。取中位数之后，真实最优值其实是8.2。这种波动在你做论文或者发布模型对比时影响不大，但在工程上决定部署哪个版本时，差一个点就可能选错模型。

FID也一直在演进。视频生成领域的FVD、文本到图像生成里的CLIP-based分布距离、自监督特征上的距离度量，都在尝试补足原版FID的短板。我觉得这不代表FID会被淘汰，反而是这个指标思想足够扎实的证明。核心的“分布距离”想法不会过时，只是特征空间和距离定义会随任务不同而调整。对做生成模型的人来说，打好FID这套基本功，后面再学任何变体都会快很多。