Kosinkadink/ComfyUI-Advanced-ControlNet

ControlNet scheduling and masking nodes with sliding context support

解决的问题

本项目为 ComfyUI 中的 ControlNet 提供高级调度和控制,允许用户精确管理 ControlNet 强度在采样时间步和批处理中单个潜变量上的变化。它填补了基础 ControlNet 应用与 Auto1111 等其他工具中发现的细粒度控制(特别是关于提示词和 ControlNet 重要性方面)之间的空白。

工作原理

该系统引入了“时间步关键帧 (Timestep Keyframes)”和“潜变量关键帧 (Latent Keyframes)”来创建调度。时间步关键帧定义了在采样过程特定百分比处激活的设置(强度、权重、掩码)。潜变量关键帧允许为批处理中的单个图像(潜变量)分配特定的强度。该项目还实现了“软权重 (Soft Weights)”,通过调整基础和无条件乘数来复制“提示词更重要”和“ControlNet 更重要”等功能。

适用对象

使用 ComfyUI 的数字艺术家和 AI 视频创作者,他们需要对图像生成过程进行精确的时间或空间控制,特别是那些使用 AnimateDiff 或 SVD-ControlNets 的用户。

亮点

  • 全面的模型支持:支持 ControlNet、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls、SVD-ControlNets 和 Reference 模型。
  • 细粒度调度:支持通过关键帧进行时间步和潜变量强度调度。
  • 注意力掩码:能够应用掩码来决定 ControlNet 影响图像的哪些部分。
  • 高级权重设置:通过软权重复制 Auto1111 的提示词 vs ControlNet 重要性功能。
  • 滑动上下文支持:完全兼容 AnimateDiff-Evolved 中使用的滑动上下文采样。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目