ComfyUI-LTXVideo: 用于高级 LTX-2 视频生成和音频合成的自定义 ComfyUI 节点

ComfyUI-LTXVideo: 用于高级 LTX-2 视频生成和音频合成的自定义 ComfyUI 节点

它解决了什么问题

该项目为 ComfyUI 提供了一套自定义节点和工作流,以释放 LTX-2 视频生成模型的全部潜力。它通过添加用于高动态范围 (HDR) 视频、对运动和结构的精确控制以及音频生成的专业工具,扩展了核心 ComfyUI LTX-2 集成。

工作原理

它作为 ComfyUI 的插件集成,提供与 LTX-2 和各种专业 LoRA (Low-Rank Adaptation) 交互的节点。这些 LoRA 使模型能够执行特定任务,如对口型 (lip-syncing)、空间放大 (spatial upscaling) 或遵循深度图和边缘图。该项目还包括一个专门的纯音频模式,利用 LTX-2 的音视频联合 Transformer 架构,从文本生成声音。

适用人群

使用 ComfyUI 的内容创作者、AI 视频艺术家和开发者,他们希望对 LTX-2 视频生成进行高级控制,包括专业级的 HDR 输出和生成式放大。

亮点

  • Union IC-LoRA: 一个单一的统一 LoRA,可以同时处理深度和边缘 (canny) 控制条件。
  • HDR 视频: 支持以 ARRI LogC3 编码的线性 HDR 输出,并具备 EXR 导出能力。
  • Lipdub: 用于多语言配音和重新表述语音,同时保留说话者身份的专业 LoRA。
  • Generative Upscaling: Pixel Spatial Upscaler LoRAs,可在 2x 或 4x 分辨率下合成新的精细细节,而非简单的插值。
  • Text-to-Audio: 能够以纯音频模式使用该模型,从文本提示词生成音频。

Sources