PixelDiT全面解析：CVPR 2026最佳论文入围的无VAE像素空间AI图像生成革命

PixelDiT 是 NVIDIA 与 University of Rochester 联合开源的像素空间扩散 Transformer（Diffusion Transformer）图像生成模型，入选 CVPR 2026 Oral 并入围最佳论文。它的核心突破在于：彻底去掉 VAE，直接在原始像素空间完成扩散生成，支持 256px 到 1024×1024 分辨率的文生图与类别到图像任务，并提供完整的训练、推理代码与预训练权重。本文将带你快速看懂它的设计思路、架构细节与上手方法。

一、为什么特别：告别 VAE 的像素空间扩散生成 🎯

主流文生图模型（Stable Diffusion、FLUX 等）普遍采用「VAE 压缩 → 潜在空间扩散 → VAE 解码」的两段式流程。VAE 虽然省算力，但有三个天然短板：

• 信息损失：压缩-解压会把细节"磨平"，小字、高频纹理容易糊；
• 双系统耦合：生成器质量被 VAE 的表征上限锁死；
• 流程复杂：两个子系统需要分开训练与调参。

PixelDiT 的思路是一步到位：把扩散模型直接建在像素上，用 Transformer 的全局注意力来承担 VAE 原本负责的长程结构建模。后续版本PixelDiT2（NeurIPS 2026）进一步用冻结的 DINOv3 编码器做"表征锚定"（representation grounding），让像素扩散收敛速度大幅提升。

📄 项目背景与时间线：2025/11 论文发布 → 2026/02 被 CVPR 2026 接收（Oral）→ 2026/06 入围最佳论文 → 2026/09 PixelDiT2 被 NeurIPS 2026 接收。完整信息见 README.md。

二、核心架构解读：三条技术路线

模型定义集中在 pixdit_core/ 目录，三条路线各自对应一个核心文件：

1️⃣ PixelDiT（初代 C2I）：双层 Transformer

源码见 pixdit_core/pixeldit_c2i.py，PixDiT类采用独特的双层设计：

• Patch 层：AugmentedDiTBlock以 patch 为单元做全局注意力，负责整体结构与布局；
• Pixel 层：PiTBlock在每个 patch 内部做逐像素的注意力与 MLP，负责高频细节；
• 时间步 + 类别条件通过 adaLN 调制注入，输入为 4 通道（flow matching 的图像-噪声拼接），输出直接是像素。

关键代码可参考 pixdit_core/pixeldit_c2i.py#L171-L221。

2️⃣ PixelDiT2：表征锚定的单层 DiT

源码见 pixdit_core/pixeldit2_c2i.py。它把双层结构简化为单层 patch DiT（patch size 16），并引入两个关键设计：

• 冻结的 DINOv3 grounding encoder（pixdit_core/grounding.py）：把强视觉表征作为 in-context token 喂给扩散模型，相当于给像素扩散装了一个"导航地图"，训练收敛显著加快；
• In-context class token：32 个类别 token 以上下文方式注入。

3️⃣ PixelDiT-T2I：1.3B 参数文生图模型

源码见 pixdit_core/pixeldit_t2i.py。采用Gemma-2 文本编码器 + MM-DiT 联合注意力（MMDiTJointAttention）实现文本-图像深度融合，1.3B 参数即可直接生成 1024×1024 像素空间图像——这在无 VAE 方案中相当罕见。

三、性能实测：FID 1.46 是什么水平 🏆

官方在 ImageNet 上的结果（50,000 张样本）：

文生图基准（GenEval / DPG-Bench）：

💡 参考：FID 越低越好。PixelDiT2 在 256px 上以 1.46 的 FID 达到该分辨率第一梯队水平，且采样仅需 50 步（Heun），而初代 PixelDiT 需要 100 步——表征锚定带来的加速肉眼可见。

四、文生图效果展示：像素直出 1024×1024 🖼️

下图是 PixelDiT-T2I 的官方样张集，覆盖动漫、人像、动物、静物、插画等多种风格——注意其中没有任何 VAE 解码环节，细节全部由像素扩散模型直接生成：

模型权重已同时提供 ComfyUI 封装版本（bf16 与 mxfp8 两种精度）及开箱即用的文生图工作流，方便在 ComfyUI 中直接调用。

五、快速上手：一键安装与推理命令

克隆与安装

git clone https://gitcode.com/gh_mirrors/pi/PixelDiT cd PixelDiT

两组模型需要独立的 Python 环境（官方明确要求分开安装）：

# PixelDiT2（Python 3.10，锁定 PyTorch/CUDA 版本） python -m pip install -r requirements-pixeldit2.txt # 初代 PixelDiT / T2I python -m pip install -r requirements-pixeldit1.txt

文生图推理（最常用）

cd t2i/ python inference.py \ --config configs/PixelDiT_1024px_pixel_diffusion_stage3.yaml \ --model_path pixeldit_t2i_v1.pth \ --txt_file prompts.txt \ --custom_height 1024 --custom_width 1024 \ --cfg_scale 2.75 --seed 2025

✅ 权重未找到时自动从 HuggingFace 下载，结果保存在work_dir/vis/。常用参数（--step采样步数、--cfg_scale引导强度、--negative_prompt）详见 t2i/README.md。

类别到图像推理

C2I 两条路线共用入口 c2i/main.py 的predict子命令，通过-c指定配置区分模型：

• PixelDiT2：-c configs/pixeldit2_h16_in256.yaml，Heun 采样器 50 步；
• PixelDiT：-c configs/pix256_xl.yaml，FlowDPMSolver 采样器 100 步。

检查点文件名直接传给--ckpt_path即可自动下载。FID 评测脚本位于 tools/evaluate_fid.py。完整命令与评测流程见 c2i/README.md。

在其他项目中复用模型代码

模型定义可作为 pip 包直接安装，导入名统一为pixdit_core：

from pixdit_core.pixeldit_t2i import PixDiT_T2I # 文生图 from pixdit_core.pixeldit_c2i import PixDiT # 初代类别到图像 from pixdit_core.pixeldit2_c2i import PixelDiT2 # PixelDiT2 类别到图像

六、仓库结构导读：核心源码在哪里 📂

├── pixdit_core/ # 共享模型定义 │ ├── pixeldit2_c2i.py # PixelDiT2（单层 patch DiT + grounding） │ ├── grounding.py # 冻结 DINOv3 编码器与投影 P_g │ ├── pixeldit_c2i.py # PixelDiT 初代（双层：patch DiT + pixel PiT） │ └── pixeldit_t2i.py # 文生图（Gemma-2 + MM-DiT） ├── tools/ # 权重下载、FID 评测、GFLOPs 计算 ├── c2i/ # 类别到图像（训练 + 推理） └── t2i/ # 文生图（训练 + 推理）

各配置文件一目了然：

🔧 训练稳定性小技巧：若训练中遇到 loss/梯度尖峰，可开启 PiT 块的post-modulation adaLN，现成配置为 pix256_xl_pit_post_modulation.yaml，完全向后兼容。

七、训练流程概览：三阶段渐进策略 🚀

文生图模型采用经典的渐进式训练（t2i/README.md）：

1. Stage 1— 512×512 固定分辨率预训练，叠加 REPA 表征损失，收敛明显加快；
2. Stage 2— 512×512 多长宽比微调，去掉 REPA 损失，仅保留 flow matching 损失；
3. Stage 3— 1024×1024 多长宽比微调，冲击最终分辨率。

类别到图像则通过 c2i/train_c2i.sh 一键启动，配置中默认开启自动断点续训（auto_resume: true），支持多机多卡扩展（如 PixelDiT2 512px 使用 8 节点 × 8 卡）。

写在最后

PixelDiT 的意义不只是刷榜：它证明了**"没有 VAE 的扩散模型"完全可以做到第一梯队质量**。PixelDiT 初代解决了像素空间的全局结构问题（双层设计），PixelDiT2 则用表征锚定把训练效率拉回实用区间（50 步采样 + 更快收敛）。对研究者而言，它是一份完整的像素扩散工程参考；对应用者而言，ComfyUI 工作流和自动下载权重让体验成本几乎为零。如果你正在寻找下一代文生图方案，这条"纯像素"路线值得关注。

引用论文：

• PixelDiT:Pixel Diffusion Transformers for Image Generation, CVPR 2026
• PixelDiT2:Representation-Grounded Pixel Diffusion Transformers, NeurIPS 2026