ussoewwin/ComfyUI-QwenImageLoraLoader
LoRA Loader & Diffsynth/LoRA ControlNet Loader for Nunchaku Qwen Image & Nunchaku Z-Image Turbo. Krea2 Depth/OpenPose LoRA ControlNet Loader
是什么
ComfyUI‑QwenImageLoraLoader 是 ComfyUI 的自定义节点包。ComfyUI 是一个可视化、基于节点的界面,用于构建 Stable Diffusion 风格的图像生成流水线。此仓库中的节点可让您加载并将 LoRA(低秩自适应)权重应用于 Nunchaku 插件提供的 Qwen‑Image 和 Z‑Image‑Turbo 模型。此外,该包还包含 Krea2 深度/开放姿态 ControlNet LoRA 的加载器和一个 DiffSynth 风格的 ControlNet 节点。
为什么重要
- LoRA 支持 – LoRA 文件是微小的微调权重增量,可让您在不重新训练整个模型的情况下,将大型扩散模型(例如 Qwen‑Image)适应新的风格或主题。此包使添加这些 LoRA 变得非常简单,只需将文件放入节点并设置强度滑块即可。
- 多 LoRA 堆叠 – “堆叠”节点允许您在一个工作流中组合多个 LoRA,每个 LoRA 都有自己的启用开关和强度,模仿了流行的 rgthree Power LoRA Loader UI。
- AWQ 量化处理 – 内置了将 LoRA 应用于 AWQ 量化调制层(
img_mod.1/txt_mod.1)的实验性支持,这对于低显存设置非常有用。 - ControlNet 集成 – 专用节点加载 Krea2 深度/开放姿态 ControlNet LoRA 和 DiffSynth ControlNet 路径,扩展了条件设置选项的范围。
- 兼容性 – 适用于官方 ComfyUI‑nunchaku 插件(v1.2.0+),支持较新的 ComfyUI Nodes 2.0 UI(测试版),并在
nunchaku包不可用的 AMD/ROCm 系统上自动禁用自身。
核心功能
| 功能 | 描述 |
|---|---|
| 单 LoRA 加载器 | NunchakuQwenImageLoraLoader – 加载一个 LoRA 并设置其强度。 |
| 堆叠 V1 | rgthree 风格 UI,适用于经典 LiteGraph 画布(不适用于 Nodes 2.0)。 |
| 堆叠 V2 | 动态 UI,对 Nodes 2.0 提供测试版支持,包含将 LoRA 应用于 AWQ 调制层的开关。 |
| 堆叠 V3 | 与 V2 相同,但始终应用 AWQ 调制层 LoRA。 |
| Z‑Image Turbo 堆叠 V1 / V4 | 用于 Z‑Image‑Turbo 模型系列的 LoRA 堆叠;V4 使用标准 CLIP 输入/输出 LoRA 格式,并且兼容 Nodes 2.0。 |
| DiffSynth ControlNet 和 Krea2 | NunchakuQwenImageDiffsynthControlnet 加载 DiffSynth 风格 ControlNet 补丁;Krea2ControlNetLoraLoader 自动检测深度 LoRA 与开放姿态 LoRA 并适当路由。 |
| 调试日志 | 通过 nunchaku_log=1 实现可选的详细日志。 |
| 安装 | 简单地 git clone 到 ComfyUI 的 custom_nodes 文件夹;从 v1.60 起无需额外集成代码。 |
| 错误处理 | 检测缺失的 nunchaku 依赖项,提供清晰的运行时错误,并包括常见 UTF‑8、路径检测和模型管理问题的修复。 |
适用人群
- 艺术家和爱好者 – 使用 Qwen‑Image 或 Z‑Image‑Turbo 模型构建 ComfyUI 工作流,并想尝试基于 LoRA 的风格或主题适应的用户。
- 研究人员 – 探索低显存量化模型(AWQ)并需要在其上应用 LoRA 方法的用户。
- 开发者 – 使用自定义 ControlNet 条件设置(深度、姿态)扩展 ComfyUI,并需要能自动检测 LoRA 类型的现成加载器的用户。
快速开始(快速步骤)
- 安装先决条件 – ComfyUI、官方
ComfyUI‑nunchaku插件(≥ 1.2.0)、PyTorch、Python 3.12+。 - 添加节点包:
cd path/to/ComfyUI/custom_nodes git clone https://github.com/ussoewwin/ComfyUI-QwenImageLoraLoader.git - 重启 ComfyUI – 新节点会出现在节点调色板中。
- 加载模型 – 使用现有的
Nunchaku Qwen Image DiT Loader或Nunchaku Z‑Image DiT Loader节点。 - 添加 LoRA 加载器 – 将
NunchakuQwenImageLoraStackV2(或任何堆叠版本)拖入工作流,指向.safetensorsLoRA 文件,设置强度,并将其输出连接到模型输入。 - (可选)添加 ControlNet – 使用
Krea2ControlNetLoraLoader加载 Krea2 深度/开放姿态 LoRA,并将其连接到 DiffSynth ControlNet 节点。 - 运行 – 使用组合的模型 + LoRA + ControlNet 条件设置生成图像。
局限性与未解决的问题
- Nodes 2.0 兼容性 – V1 堆叠节点不适用于新 UI;只有 V2/V3/V4 具有测试版兼容性。
- Nunchaku 量化 Qwen Image 上的 ControlNet – 由于隐藏状态缩放不匹配,内置 DiffSynth ControlNet 无法与 W4A4 量化 Qwen Image 模型一起使用(请参阅“已知局限性”部分)。
- AMD/ROCm – 当无法导入
nunchaku包时,核心 Nunchaku 依赖节点会被禁用;只有 Krea2 相关节点保持功能。 - 实验性 AWQ 支持 – 将 LoRA 应用于 AWQ 调制层仍是实验性的,可能在未来版本中更改。
以上所有信息均直接取自仓库的 README;未推断任何额外功能。
相关
- 项目
- 项目
- 项目
- 项目
- 项目