nunchux-ai/ComfyUI-nunchaku

解决的问题

本项目提供一个 ComfyUI 插件，允许用户运行高性能的 4 位量化神经网络。它解决了在运行大型图像生成模型时高 VRAM 使用量和推断速度慢的问题，使这些模型在消费级硬件（包括 20 系列 GPU）上更具可访问性。

工作原理

该插件集成了 Nunchaku 推理引擎，使用 SVDQuant 将模型量化为 4 位。这减少了内存占用并提高了速度。它支持多种模型，如 FLUX.1、Qwen-Image 和 Z-Image-Turbo，并提供自定义的 ComfyUI 节点来加载这些量化模型并管理其执行。

适用人群

希望以更低的 VRAM 要求运行高级图像生成和编辑模型，并利用异步卸载节省内存的数字艺术家、AI 研究人员和 ComfyUI 用户。

主要亮点

• 4 位量化：使用 SVDQuant 实现高效的 4 位神经网络。
• 广泛模型支持：兼容 FLUX.1、Qwen-Image 和 Z-Image-Turbo。
• VRAM 优化：支持 Qwen-Image 的异步卸载，将 Transformer 的 VRAM 使用量降低至最低 3 GiB。
• 扩展功能：支持 LoRA、ControlNet-Union-Pro 2.0 和 PuLID 集成。
• 硬件兼容性：兼容 NVIDIA 20 系列 GPU。