NVlabs/PixelDiT

PixelDiT & PixelDiT2 – 픽셀 공간에서 직접 작동하는 확산 트랜스포머

정의 – NVIDIA와 로체스터 대학의 연구급 코드베이스로, 이미지 생성을 위한 픽셀 공간 확산 트랜스포머를 구현합니다. 모델은 일반적인 잠재 VAE 병목을 건너뛰고 픽셀 수준에서 직접 이미지를 생성합니다. 두 가지 패밀리가 제공됩니다:

패밀리	주요 논문	하이라이트
PixelDiT (CVPR 2026 베스트 페이퍼 파이널리스트)	이미지 생성을 위한 픽셀 확산 트랜스포머	1.3B 매개변수 텍스트-이미지 모델로 1024×1024 이미지를 생성합니다. 2. ImageNet용 클래스-이미지(C2I) 모델 (256px 및 512px).
PixelDiT2 (NeurIPS 2026)	표현 기반 픽셀 확산 트랜스포머	생성에 근거를 제공하는 고정 표현 인코더(DINO-v3)를 추가하여 더 빠른 수렴과 더 나은 ImageNet FID/IS 점수를 달성합니다.

주요 기능

픽셀 수준 확산 – VAE 인코더/디코더 없음; 트랜스포머가 직접 픽셀 값을 예측합니다.
두 가지 생성 모드
- 클래스-이미지 (C2I): ImageNet 클래스 레이블에 따라 이미지 생성.
- 텍스트-이미지 (T2I): 프롬프트를 받아 최대 1024px 이미지를 출력하는 1.3B 모델.
빠른 샘플링 – PixelDiT2는 Heun 방법(50단계) 사용; PixelDiT는 FlowDPMSolver(100단계) 사용.
사전 훈련된 체크포인트 – ImageNet 훈련 모델과 대형 T2I 모델은 Hugging Face에 호스팅됩니다.
ComfyUI 통합 – 인기 있는 ComfyUI 워크플로우에 맞게 가중치가 재패키징되었으며, 즉시 실행 가능한 JSON 템플릿이 제공됩니다.
모듈식 코드 – 핵심 모델 정의는 pixdit_core에 있으며, pip로 설치하고 다른 프로젝트에서 가져올 수 있습니다.

일반적인 사용 사례

잠재 공간이 아닌 픽셀 공간에서 작동하는 확산 모델 연구.
VAE 오버헤드 없이 고해상도 텍스트-이미지 생성.
ImageNet에서 이미지 합성 벤치마킹 (FID, IS, GenEval, DPG-Bench).
창의적인 아티스트를 위한 ComfyUI와 같은 UI 도구에 플러그 앤 플레이 통합.

빠른 시작 (Python)

# 필요한 패밀리를 선택하고 고정된 종속성을 설치
# PixelDiT2 (Python 3.10, 특정 PyTorch/CUDA)
python -m pip install -r requirements-pixeldit2.txt
# PixelDiT (C2I/T2I) – 일반 종속성
python -m pip install -r requirements-pixeldit1.txt

클래스-이미지 데모 실행

# 체크포인트와 일치하는 yaml 설정 선택
python c2i/main.py \
    --config c2i/configs/pixeldit2_h16_in256.yaml \
    --checkpoint path/to/checkpoint.ckpt \
    --class "golden retriever" \
    --output out.png

텍스트-이미지 데모 실행 (PixelDiT-T2I)

python t2i/main.py \
    --config t2i/configs/PixelDiT_1024px_pixel_diffusion_stage3.yaml \
    --prompt "a futuristic city at sunset" \
    --output city.png

재사용을 위해 라이브러리 설치

pip install "git+https://github.com/NVlabs/PixelDiT"
# PixelDiT2 접지 인코더용 timm 추가 기능도 설치
pip install "pixeldit[pixeldit2] @ git+https://github.com/NVlabs/PixelDiT"

그런 다음 가져오기:

from pixdit_core.pixeldit_t2i import PixDiT_T2I
from pixdit_core.pixeldit_c2i import PixDiT
from pixdit_core.pixeldit2_c2i import PixelDiT2

저장소 구조

├─ pixdit_core/          # 모델 정의 (PixelDiT, PixelDiT2, 접지 인코더)
├─ c2i/                  # 클래스-이미지 스크립트, 설정, 평가
├─ t2i/                  # 텍스트-이미지 스크립트, 설정
├─ tools/                # 체크포인트 다운로더, GFLOPs 계산기, 평가 도우미
├─ requirements-*.txt   # 각 패밀리별 종속성 목록
└─ README.md (이 파일)

추가 리소스

프로젝트 페이지 – https://pixeldit.github.io/ (PixelDiT) 및 https://pixeldit.github.io/pixeldit2/ (PixelDiT2)
ArXiv 논문 – arxiv.org/abs/2511.20645 (PixelDiT) 및 arxiv.org/abs/2609.24919 (PixelDiT2)
사전 훈련된 모델 – Hugging Face 저장소 nvidia/PixelDiT-ImageNet, nvidia/PixelDiT2-ImageNet, nvidia/PixelDiT-1300M-1024px
ComfyUI 통합 – https://github.com/Comfy-Org/PixelDiT (가중치 및 워크플로우 템플릿)
인용 – 코드 또는 모델을 사용할 때 README의 두 BibTeX 항목을 포함하세요.

누가 이 기능을 원할까요?

ML 연구자 원시 픽셀 도메인에서의 확산 또는 표현 기반 생성을 탐구하는 분.
엔지니어 잠재 공간 아티팩트를 피해야 하는 고품질 이미지 합성 파이프라인을 구축하는 분.
아티스트 및 취미 사용자 로컬 또는 ComfyUI를 통해 실행할 수 있는 최첨단 텍스트-이미지 모델을 원하는 분.

위의 모든 정보는 저장소의 README에서 직접 가져온 것이며, 추가 기능은 추론되지 않았습니다.