NVlabs/PixelDiT
[CVPR 2026 Best Paper Finalist & NeurIPS 2026]
PixelDiT & PixelDiT2 – 直接在像素空间中工作的扩散变换器
它是什么 – 来自 NVIDIA 和罗切斯特大学的研究级代码库，实现了用于图像生成的 像素空间扩散变换器。这些模型跳过了通常的潜在 VAE 瓶颈，直接在像素级别生成图像。提供两个系列：
| 系列 | 主要论文 | 亮点 |
|---|---|---|
| PixelDiT (CVPR 2026 最佳论文决赛入围) | 用于图像生成的像素扩散变换器 | 1.3B 参数文本到图像模型，生成 1024×1024 图片。 2. 用于 ImageNet 的类别到图像 (C2I) 模型，支持 256 像素和 512 像素。 |
| PixelDiT2 (NeurIPS 2026) | 基于表示基础的像素扩散变换器 | 添加了一个冻结的表示编码器 (DINO-v3)，用于锚定生成，实现更快的收敛和更好的 ImageNet FID/IS 分数。 |
关键能力
- 像素级扩散 – 无 VAE 编码器/解码器；变换器直接预测像素值。
- 两种生成模式
- 类别到图像 (C2I)：基于 ImageNet 类别标签生成图像。
- 文本到图像 (T2I)：一个 1.3B 模型，接受提示并输出高达 1024 像素的图像。
- 快速采样 – PixelDiT2 使用 Heun 方法，50 步；PixelDiT 使用 FlowDPMSolver，100 步。
- 预训练检查点 – 在 Hugging Face 上托管 ImageNet 训练的模型和大型 T2I 模型。
- ComfyUI 集成 – 权重已重新打包，适用于流行的 ComfyUI 工作流，并提供即用型 JSON 模板。
- 模块化代码 – 核心模型定义位于
pixdit_core中；可通过pip安装并在其他项目中导入。
典型用例
- 研究在像素空间而非潜在空间中操作的扩散模型。
- 无需 VAE 开销的高分辨率文本到图像生成。
- 在 ImageNet 上对图像合成进行基准测试 (FID, IS, GenEval, DPG-Bench)。
- 即插即用地集成到 UI 工具（如 ComfyUI）中，供创意艺术家使用。
快速开始 (Python)
# 选择你需要的系列并安装其固定依赖
# PixelDiT2 (Python 3.10, 特定 PyTorch/CUDA)
python -m pip install -r requirements-pixeldit2.txt
# PixelDiT (C2I/T2I) – 通用依赖
python -m pip install -r requirements-pixeldit1.txt
运行类别到图像演示
# 选择一个检查点和匹配的 yaml 配置
python c2i/main.py \
--config c2i/configs/pixeldit2_h16_in256.yaml \
--checkpoint path/to/checkpoint.ckpt \
--class "golden retriever" \
--output out.png
运行文本到图像演示 (PixelDiT-T2I)
python t2i/main.py \
--config t2i/configs/PixelDiT_1024px_pixel_diffusion_stage3.yaml \
--prompt "a futuristic city at sunset" \
--output city.png
安装库以供重用
pip install "git+https://github.com/NVlabs/PixelDiT"
# 对于 PixelDiT2 接地编码器，还需安装 timm 额外依赖
pip install "pixeldit[pixeldit2] @ git+https://github.com/NVlabs/PixelDiT"
然后导入：
from pixdit_core.pixeldit_t2i import PixDiT_T2I
from pixdit_core.pixeldit_c2i import PixDiT
from pixdit_core.pixeldit2_c2i import PixelDiT2
仓库布局
├─ pixdit_core/ # 模型定义 (PixelDiT, PixelDiT2, 接地编码器)
├─ c2i/ # 类别到图像脚本、配置、评估
├─ t2i/ # 文本到图像脚本、配置
├─ tools/ # 检查点下载器、GFLOPs 计算器、评估辅助工具
├─ requirements-*.txt # 每个系列的依赖列表
└─ README.md (此文件)
更多资源
- 项目页面 – https://pixeldit.github.io/ (PixelDiT) 和 https://pixeldit.github.io/pixeldit2/ (PixelDiT2)
- ArXiv 论文 –
arxiv.org/abs/2511.20645(PixelDiT) 和arxiv.org/abs/2609.24919(PixelDiT2) - 预训练模型 – Hugging Face 仓库
nvidia/PixelDiT-ImageNet,nvidia/PixelDiT2-ImageNet,nvidia/PixelDiT-1300M-1024px - ComfyUI 集成 – https://github.com/Comfy-Org/PixelDiT (权重和工作流模板)
- 引用 – 使用代码或模型时，请包含 README 中的两个 BibTeX 条目。
谁可能需要这个？
- 机器学习研究人员 探索原始像素域中的扩散或基于表示的生成。
- 工程师 构建需要避免潜在空间伪影的高质量图像合成流水线。
- 艺术家和爱好者 想要一个最先进的文本到图像模型，可以在本地或通过 ComfyUI 运行。
以上所有信息均直接取自仓库的 README；未推断任何额外功能。
相关
- 项目
- 项目
- 项目
- 项目
- 项目