nunchux-ai/ComfyUI-nunchaku

해결하는 문제

이 프로젝트는 고성능 4비트 양자화 신경망을 실행할 수 있는 ComfyUI 플러그인을 제공합니다. 대규모 이미지 생성 모델을 실행할 때 발생하는 높은 VRAM 사용량과 느린 추론 속도 문제를 해결하여, 20세대 GPU를 포함한 일반 소비자용 하드웨어에서도 사용 가능하게 합니다.

작동 방식

이 플러그인은 Nunchaku 추론 엔진을 통합하여 SVDQuant를 사용해 모델을 4비트로 양자화합니다. 이로 인해 메모리 사용량이 감소하고 속도가 향상됩니다. FLUX.1, Qwen-Image, Z-Image-Turbo 등 다양한 모델을 지원하며, 이러한 양자화된 모델을 로드하고 실행을 관리하는 커스텀 ComfyUI 노드를 제공합니다.

대상 사용자

낮은 VRAM 요구 사항으로 고급 이미지 생성 및 편집 모델을 실행하고 싶은 디지털 아티스트, AI 연구자, ComfyUI 사용자.

주요 특징

• 4비트 양자화: SVDQuant를 사용해 효율적인 4비트 신경망 구현.
• 광범위한 모델 지원: FLUX.1, Qwen-Image, Z-Image-Turbo와 호환.
• VRAM 최적화: Qwen-Image에 대해 비동기 오프로딩을 지원하여 Transformer의 VRAM 사용량을 최소 3 GiB로 줄임.
• 확장 기능: LoRA, ControlNet-Union-Pro 2.0, PuLID 통합 지원.
• 하드웨어 호환성: NVIDIA 20세대 GPU와 호환.