wildminder/ComfyUI-DyPE

해결하는 문제

ComfyUI-DyPE는 Diffusion Transformers (DiT)를 사용하여 초고해상도(4K 이상) 이미지를 생성하기 위한 훈련 없이도 가능한 방법을 제공합니다. 사전 훈련된 모델을 원래 훈련 해상도를 훨씬 초과하여 사용할 때 발생하는 일반적인 고해상도 문제인 공간적 비정상성(반복되거나 붕괴된 구조)과 아티팩트를 방지합니다.

작동 방식

이 프로젝트는 모델 로더 이후 ComfyUI 워크플로우에 삽입할 수 있는 여러 고급 패칭 기술을 구현합니다:

• Dynamic Position Extrapolation (DyPE): 노이즈 제거 과정 중 위치 인코딩을 조정하여 저주파 구조는 조기에 처리하고 세부 사항은 나중에 처리합니다.
• Spatial Position Alignment (SPA): 토큰 위치를 묶고 여러 변형에 걸친 어텐션 출력을 평균화하여 공간적 비정상성을 수정합니다.
• Head-Adaptive attention Pruning (HAP): 사전 캘리브레이션된 스코프 계획을 기반으로 블록 스파스 어텐션을 사용하여 추론을 가속화하고 고해상도 어텐션의 계산 부담을 줄입니다.
• SEGA: 잠재 공간의 주파수 스펙트럼을 기반으로 콘텐츠 인식형 스펙트럼 샤프닝을 사용합니다.
• PixelRush & FreeScale: 기존 이미지의 확대 또는 더 높은 해상도에서의 생성을 위한 카스케이드 기반 정밀화와 스케일 융합 어텐션을 제공합니다.

대상 사용자

FLUX, Qwen Image, Z-Image, Anima/Cosmos 등의 모델을 사용하여 재훈련 없이 고해상도 4K+ 이미지를 생성하고자 하는 ComfyUI 사용자인 디지털 아티스트 및 AI 연구자.

주요 특징

• 다중 아키텍처 지원: FLUX, Nunchaku, Qwen Image, Krea-2, Z-Image, Anima/Cosmos와 호환됩니다.
• 훈련 없음: 재훈련이나 복잡한 워크플로우 변경 없이, 단일 노드로 모델에 패치만 적용하면 됩니다.
• 초고해상도 생성 가능: 4096×4096 이상의 해상도에서 생성이 가능합니다.
• 추론 가속화: HAP는 4K 해상도에서 최대 5.5배 빠른 어텐션 처리를 제공합니다.
• 오버헤드 없음: 많은 조정이 실시간으로 이루어져 성능에 거의 영향을 주지 않습니다.