NVlabs/PixelDiT

PixelDiT & PixelDiT2 – ピクセル空間で直接動作する拡散トランスフォーマー

概要 – NVIDIA とロチェスター大学による研究グレードのコードベースで、画像生成のための ピクセル空間拡散トランスフォーマー を実装しています。モデルは通常の潜在 VAE ボトルネックをスキップし、ピクセルレベルで直接画像を生成します。2 つのファミリーが提供されています：

ファミリー	主な論文	ハイライト
PixelDiT (CVPR 2026 ベストペーパーファイナリスト)	画像生成のためのピクセル拡散トランスフォーマー	1.3B パラメータのテキストから画像へのモデルで、1024×1024 の画像を生成します。 2. ImageNet 用のクラスから画像 (C2I) モデル (256 ピクセルおよび 512 ピクセル)。
PixelDiT2 (NeurIPS 2026)	表現基盤のピクセル拡散トランスフォーマー	生成を接地する凍結表現エンコーダ (DINO-v3) を追加し、より速い収束とより良い ImageNet FID/IS スコアを実現します。

主な機能

ピクセルレベル拡散 – VAE エンコーダ/デコーダなし。トランスフォーマーが直接ピクセル値を予測します。
2 つの生成モード
- クラスから画像 (C2I): ImageNet クラスラベルに基づいて画像を生成。
- テキストから画像 (T2I): プロンプトを受け取り、最大 1024 ピクセルの画像を出力する 1.3B モデル。
高速サンプリング – PixelDiT2 は Heun 法 (50 ステップ) を使用。PixelDiT は FlowDPMSolver (100 ステップ) を使用。
事前学習済みチェックポイント – ImageNet で学習されたモデルと大型 T2I モデルは Hugging Face でホストされています。
ComfyUI 統合 – 人気の ComfyUI ワークフロー用に重みが再パッケージされ、すぐに実行できる JSON テンプレートが用意されています。
モジュール式コード – コアモデル定義は pixdit_core にあり、pip でインストールして他のプロジェクトにインポートできます。

典型的なユースケース

潜在空間ではなくピクセル空間で動作する拡散モデルの研究。
VAE のオーバーヘッドなしの高解像度テキストから画像への生成。
ImageNet での画像合成のベンチマーク (FID, IS, GenEval, DPG-Bench)。
クリエイティブアーティスト向けの ComfyUI などの UI ツールへのプラグアンドプレイ統合。

クイックスタート (Python)

# 必要なファミリーを選択し、固定された依存関係をインストール
# PixelDiT2 (Python 3.10, 特定の PyTorch/CUDA)
python -m pip install -r requirements-pixeldit2.txt
# PixelDiT (C2I/T2I) – 一般的な依存関係
python -m pip install -r requirements-pixeldit1.txt

クラスから画像のデモを実行

# チェックポイントと対応する yaml 設定を選択
python c2i/main.py \
    --config c2i/configs/pixeldit2_h16_in256.yaml \
    --checkpoint path/to/checkpoint.ckpt \
    --class "golden retriever" \
    --output out.png

テキストから画像のデモを実行 (PixelDiT-T2I)

python t2i/main.py \
    --config t2i/configs/PixelDiT_1024px_pixel_diffusion_stage3.yaml \
    --prompt "a futuristic city at sunset" \
    --output city.png

再利用のためにライブラリをインストール

pip install "git+https://github.com/NVlabs/PixelDiT"
# PixelDiT2 接地エンコーダ用に timm エクストラもインストール
pip install "pixeldit[pixeldit2] @ git+https://github.com/NVlabs/PixelDiT"

その後インポート：

from pixdit_core.pixeldit_t2i import PixDiT_T2I
from pixdit_core.pixeldit_c2i import PixDiT
from pixdit_core.pixeldit2_c2i import PixelDiT2

リポジトリ構成

├─ pixdit_core/          # モデル定義 (PixelDiT, PixelDiT2, 接地エンコーダ)
├─ c2i/                  # クラスから画像のスクリプト、設定、評価
├─ t2i/                  # テキストから画像のスクリプト、設定
├─ tools/                # チェックポイントダウンローダー、GFLOPs 計算機、評価ヘルパー
├─ requirements-*.txt   # 各ファミリーの依存関係リスト
└─ README.md (このファイル)

その他のリソース

プロジェクトページ – https://pixeldit.github.io/ (PixelDiT) および https://pixeldit.github.io/pixeldit2/ (PixelDiT2)
ArXiv 論文 – arxiv.org/abs/2511.20645 (PixelDiT) および arxiv.org/abs/2609.24919 (PixelDiT2)
事前学習済みモデル – Hugging Face リポジトリ nvidia/PixelDiT-ImageNet, nvidia/PixelDiT2-ImageNet, nvidia/PixelDiT-1300M-1024px
ComfyUI 統合 – https://github.com/Comfy-Org/PixelDiT (重みとワークフローテンプレート)
引用 – コードまたはモデルを使用する際は、README の 2 つの BibTeX エントリを含めてください。

誰がこれを必要とするか？

ML 研究者 生のピクセル領域での拡散または表現基盤の生成を探求する方。
エンジニア 潜在空間のアーティファクトを避ける必要がある高品質な画像合成パイプラインを構築する方。
アーティストと愛好家 ローカルまたは ComfyUI 経由で実行できる最先端のテキストから画像へのモデルを求める方。

上記のすべての情報はリポジトリの README から直接取得したものであり、追加の機能は推測されていません。