nunchux-ai/ComfyUI-nunchaku

解決的問題

本專案提供一個 ComfyUI 插件，讓使用者能夠執行高效率的 4 位量化神經網路。解決大型圖像生成模型執行時高 VRAM 使用量與推論速度慢的問題，使這些模型在消費級硬體（包含 20 系列 GPU）上更具可及性。

工作原理

此插件整合了 Nunchaku 推論引擎，使用 SVDQuant 將模型量化至 4 位。這能減少記憶體佔用並提升速度。支援多種模型，如 FLUX.1、Qwen-Image 和 Z-Image-Turbo，並提供自訂的 ComfyUI 節點，用於載入這些量化模型並管理其執行。

適用對象

希望以較低 VRAM 要求執行進階圖像生成與編輯模型，並利用非同步卸載來節省記憶體的數位藝術家、AI 研究人員與 ComfyUI 使用者。

主要亮點

• 4 位量化：使用 SVDQuant 實現高效的 4 位神經網路。
• 廣泛模型支援：相容 FLUX.1、Qwen-Image 與 Z-Image-Turbo。
• VRAM 優化：支援 Qwen-Image 的非同步卸載，將 Transformer 的 VRAM 使用量降低至最低 3 GiB。
• 擴充功能：支援 LoRA、ControlNet-Union-Pro 2.0 與 PuLID 集成。
• 硬體相容性：相容 NVIDIA 20 系列 GPU。