论文题目：Simpler Diffusion: 1.5 FID on ImageNet512 with pixel-space diffusion（更简单的扩散：使用像素空间扩散的ImageNet512上的1.5 FID）
会议：CVPR2026
摘要：潜在扩散模型已经成为放大扩散模型用于高分辨率图像合成的流行选择。与端到端训练的像素空间模型相比，潜在模型被认为是更有效的，并在高分辨率下产生更高的图像质量。在这里，我们挑战这些概念，并表明像素空间模型在质量和效率上都可以与潜在模型竞争，在ImageNet512上达到1.5FID，在ImageNet128、ImageNet256和Kinetics600上获得新的SOTA结果。我们提供了一个简单的配方来将端到端像素空间扩散模型缩放到高分辨率。1：使用带有我们规定的超参数的S型失重法[25]。2：使用我们简化的内存高效型架构，跳过连接更少。3：缩放模型以便于以较少的参数以高分辨率处理图像，而不是以较低的分辨率使用较多的参数。将这些与引导间隔相结合，我们得到一族像素空间扩散模型，我们称之为更简单扩散(SiD2)。
Simpler Diffusion（SiD2）：像素空间扩散模型如何以 1.5 FID 挑战潜在扩散？
一、背景：像素扩散模型为什么长期落后？
近年来，以 Stable Diffusion 为代表的潜在扩散模型（Latent Diffusion Models, LDM）几乎垄断了高分辨率图像生成领域。其核心思路是：先用自编码器把图像压缩到低维潜空间，再在潜空间中做扩散。这样做的好处是显而易见的——训练和推理都更快，生成质量也更高。
相比之下，像素空间扩散模型直接在原始像素上建模，长期被认为有两个致命弱点：
- 高分辨率下损失加权方案失效，训练困难；
- 需要 100+ 步采样，远慢于潜在模型的 20~50 步。
然而，潜在模型也并非没有代价：训练独立的自编码器需要精细调节正则化超参；解码器在分布外样本上容易产生伪影。这些问题促使 Google DeepMind 的研究者重新审视像素扩散模型的潜力。
本文提出的SiD2（Simpler Diffusion），通过三个核心改进，将像素空间扩散模型的 ImageNet512 FID 从此前最优的 2.65 一举推进到1.48，接近甚至超越多个顶尖潜在模型。
📊Figure 1（ImageNet512 上端到端像素扩散模型的 FID 历史进展曲线）
二、核心问题：为什么以前的像素扩散模型不行？
2.1 损失加权的困境
扩散模型的训练目标可以写成一个加权均方误差损失：
其中是损失加权函数，
是对数信噪比（log-SNR）。
关键洞察：噪声调度和加权函数
是可以解耦的——调度只影响训练效率，而加权直接决定模型学到什么。
VDM++ 提出了sigmoid 损失作为候选方案，但最终选用了 EDM-monotonic，理由是后者在ε-mse 空间单调递减，符合变分下界（ELBO）的约束。
SiD2 发现这个选择存在问题：当我们把 sigmoid 损失转换到x-mse 空间来分析时：
sigmoid 损失在 x-mse 空间是单调递增的。这才是合理的：信噪比越高（噪声越少），模型能获得更多信息，重建更容易，x-mse 自然更低——此时应该给予更高权重，激励模型在"容易"的任务上做得更好。
而 EDM-monotonic 在 x-mse 空间不满足单调性，意味着模型可以在条件更好时反而得到更低的损失权重，激励机制是错误的。
📊Figure 3（sigmoid 与 EDM-monotonic 在 ε-mse 和 x-mse 两个空间的权重曲线对比）
2.2 分辨率自适应的 Bias 调整
论文还发现，最优的 sigmoid bias 参数 b 与分辨率密切相关。从信号处理的角度看，分辨率每提高 2 倍（宽高各一倍），低通滤波器感知到的噪声方差减少为原来的，有效 log-SNR 约提升
。因此：
- ImageNet 128×128 最优：
- ImageNet 512×512 最优：
（移位约
）
📊Table 1(a)（不同分辨率与 bias 组合下的 FID 结果）
三、三大核心改进
改进一：Sigmoid 损失加权（重新激活并精调）
基于上述理论分析，SiD2 重新选用 sigmoid 损失，并针对各分辨率精心调整 bias 参数。
实验结果非常清晰：在整个训练过程中，sigmoid（b=-3）始终优于所有其他加权方案，包括 EDM-monotonic shifted。
此外，论文还尝试了一种多尺度变体——Power Loss（通过 Haar 小波增强低频分量），但发现只要把 sigmoid 的 bias 调得足够激进，power loss 并没有额外收益，因此最终选择更简洁的 sigmoid 方案。
📊Figure 5（不同损失加权函数对 ImageNet512 FID 的影响曲线）
同时，训练噪声调度的选择对结果几乎没有影响（只要损失加权是 sigmoid），这一结论大大简化了超参搜索。
📊Figure 6（不同训练噪声调度对 FID 的影响，sigmoid 加权下差异极小）
改进二：Flop Heavy 扩展策略（用计算量替代参数量）
传统扩展方法是增加通道数（model size 2×），但论文发现这在 ImageNet 这类相对有限的数据集上会导致过拟合，FID 从 1.9 只降到 1.6（需要引入 distribution augmentation 才行）。
SiD2 提出的替代方案是：保持参数量不变，缩小 patch 大小（从 4×4 缩到 2×2），让模型在分辨率更高的特征图上处理。以 512×512 输入为例：
- 4×4 patching → 128×128×48 的输入特征图
- 2×2 patching → 256×256×12 的输入特征图
patch 缩小使 FLOPs 增加约 4 倍，但参数量几乎不变，因此称为"Flop Heavy"。
实验结果：无需任何额外数据增强，Flop Heavy 模型在 ImageNet512 上达到FID = 1.54，显著优于 model size 2×。
📊Figure 8（small / model size 2× / flop heavy 三种扩展方案的 FID 曲线对比）
另一个实用优势：Flop Heavy 扩展天然支持跨分辨率微调。先在 256×256 用 2×2 patching 训练，然后直接迁移到 512×512 同样用 2×2 patching，参数量完全一致，无需任何结构改动，成本极低。
改进三：Residual U-ViTs（去除逐块跳跃连接）
标准 U-Net 的设计依赖大量"逐块跳跃连接"（blockwise skip-connections）——每个分辨率层级的每个 block 都与对应的上采样 block 相连。这与 Transformer 的纯残差设计相距甚远，也带来了额外的显存开销。
SiD2 将其简化为Residual U-ViT：每个下采样层级只保留一条跳跃连接，数学上描述为：
这个设计有三大优势：
① 初始化即恒等映射：只要初始化为恒等，整个网络 f 也是恒等映射，训练更稳定。
② 显存节省明显：以 256² 分辨率、128 通道为例，传统方案（每层 3 个 block）需要额外保存；Residual U-ViT 仅需
。在 4096² 的超分辨率场景下，差距从 12GB 缩减到 6GB。
③ 支持不对称设计：由于每层只有一条连接，encoder 和 decoder 可以有不同数量的 block。实验发现，decoder 侧放更多 block 收益更大（E1-D5 显著优于 E5-D1，E3-D5 优于 E3-D3），而 E3-D7（仅多 10% 参数）性能提升显著。
📊Figure 4（Residual U-ViT 结构示意图）
📊Figure 9（有无 block skip-connections 的 FID 对比曲线）
📊Figure 10（不对称 encoder/decoder 设计的 FID 对比）
对于小模型，去掉逐块跳跃连接会带来约 0.2 FID 的轻微退化（容量不足时跳跃连接有价值）；但对于大模型，去除后性能持平甚至略有提升。
附加改进：矩匹配蒸馏
像素扩散模型通常需要 100+ 步采样，SiD2 引入矩匹配蒸馏（Moment Matching Distillation），将采样步骤压缩到8~16 步。令人惊喜的是，蒸馏后模型质量不降反升：
- 16 步蒸馏版 ImageNet512 FID =1.50（优于原始 512 步的 1.48，差距在误差范围内）
- MSCOCO 零样本文生图 16 步蒸馏版 FID30k =6.7（优于所有 512 分辨率对比方法）
四、实验结果：全面超越像素模型，接近顶尖潜在模型
4.1 ImageNet 多分辨率对比
📊Table 2（ImageNet 128/256/512/1024 全分辨率 FID 文献对比表）
| 分辨率 | SiD2 FID | 此前最优像素模型 FID | 此前最优潜在模型 FID |
|---|---|---|---|
| 128×128 | 1.26 | VDM+++ 1.75 | StyleGAN-XL 1.81 |
| 256×256 | 1.38 | PaGoDA 1.56 | PaGoDA 1.56 |
| 512×512 | 1.48 | VDM++ 2.65 | EDM2-XXL 1.40 |
| 1024×1024 | 1.75 | RIN 8.72 | — |
SiD2 在 ImageNet128、256、1024 上均取得全面最优（SOTA），在 ImageNet512 上超越所有像素模型，仅略逊于顶尖潜在模型 EDM2-XXL（1.40 vs 1.48）。
4.2 训练计算量对比
📊Figure 7（FID 与训练计算量 Zettaflops 的散点图，像素 vs 潜在模型全景对比）
特别值得关注的是效率：SiD2 Small 变体（无 guidance interval）以约 VDM++ 三分之一的训练计算量达到相近的 FID，且单次前向传播 FLOPs 只有 VDM++ 的四分之一。
4.3 视频生成：Kinetics600
📊Table 4（Kinetics600 视频生成 FVD 对比，含消融分析）
SiD2 在 Kinetics600 上取得FVD = 2.3，优于所有像素扩散模型，甚至超越了部分使用更少训练计算量的潜在扩散方法（MAGVIT 9.9，MAGVITv2 4.3，W.A.L.T 3.3）。消融实验也验证了 sigmoid 损失对视频生成的重要性（ε-mse 下 FVD 为 5.7，差距显著）。
4.4 文本生成图像：MSCOCO 零样本
📊Table 3（MSCOCO 零样本 FID30k 对比）
端到端训练的 SiD2（FID30k = 8.1）性能已与主流方法相当，而蒸馏版（16 步，FID30k = 6.7）则超越了所有 512 分辨率下的零样本对比方法，包括基于潜在模型的 DMD2。
五、总结与意义
SiD2 用三个优雅的改进证明了：像素空间扩散模型并非天生落后，过去的差距很大程度上来自次优的损失加权选择和保守的扩展策略。
| 改进 | 核心思路 | 主要收益 |
|---|---|---|
| Sigmoid 损失加权（b=-3） | x-mse 空间单调递增才是正确约束 | ImageNet512 FID 从 2.65 → ~1.9 |
| Flop Heavy 扩展 | 缩小 patch 替代增加通道 | FID 进一步降至 1.54，避免过拟合 |
| Residual U-ViTs | 每层单跳跃连接，去除逐块连接 | 显存减半，支持不对称设计，大模型性能持平 |
| 矩匹配蒸馏 | 16 步采样 | 速度提升 30×，质量不降反升 |
局限性：论文作者也坦诚，在质量与计算量的综合权衡上，潜在扩散方法（如 EDM2）的扩展性仍略胜一筹。但对于不适合单独训练自编码器的场景（如医学影像、科学数据、小数据集领域迁移），SiD2 提供了一个强有力的端到端替代方案。
💡核心启示：选对损失函数比堆参数更重要。在 x-mse 空间的单调性约束，是一个在 VDM++ 中被错过、在 SiD2 中被重新发现的关键归纳偏置。
