Songssx/ComfyUI-MiniMaxH3-TimelineDirector

Editable reference-media timeline director for ComfyUI MiniMax H3 Reference to Video

ComfyUI MiniMax H3 时间线导演

是什么 – 一个由社区开发的插件,为可视化编程界面 ComfyUI 添加了一组单一的高级节点,用于构建使用 MiniMax H3 模型的无限长度视频流水线。它允许你布置时间线上的片段(文本提示、参考图像、参考视频、音频轨道等),将目标时长拆分为任意数量的潜在延续段,并由插件自动拼接各部分。

为何重要 – 使用扩散模型生成长视频通常需要手动循环或重复执行图谱,这会迅速导致质量下降、音频故障和明显的接缝。此节点包实现了:

  • 有限段延续 – 每个段落通过共享种子从上一段的 AV 潜在空间延续,确保视频潜在路径始终在模型的潜在空间内。
  • 漂移控制掩码 – 自适应掩码保持潜在空间在段落边界处“在轨”,消除闪烁、白光和模糊。
  • 软AV音频连续性 – 原始音频波形可被锁定并重新注入,使唇形同步和配乐保持不变,同时模型仍驱动运动。
  • 两阶段 SelfLift 采样 – 内置渐进式分辨率采样器(约 75% 低分辨率,25% 高分辨率),对每个段落运行,避免事后放大导致的质量下降。
  • 完整时间线 UI – 可移动/裁剪/分割片段,对齐到帧,为每个片段分配模式(固定引导、可编辑参考、仅边界),在高分辨率生成期间可查看低分辨率预览代理(最高 480×270 @ 12 fps)。

核心组件

节点 作用
MiniMax H3 材料规划器 用于安排媒体、设置生成窗口,并输出描述每个段落应执行内容的紧凑“计划”。
MiniMax H3 全媒体包提示桥接 (可选)将有序媒体包发送到外部 Prompt-Rewriter Omni 后端,并接收重写后的 H3 提示。
MiniMax H3 有限段采样 核心引擎 – 将图谱展开为逐段采样,应用漂移控制掩码,执行两阶段 SelfLift 调度,并组装最终视频/音频。
MiniMax H3 时间线导演(兼容性) 薄包装器,保留旧图谱的全合一工作流格式。

安装

# 在你的 ComfyUI/custom_nodes 文件夹内
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git

重启 ComfyUI,查找名称以 MiniMax H3 开头的节点。

运行时要求

  • 已包含原生 MiniMax H3 节点的最新 ComfyUI 构建(若使用引导,需包含 MiniMaxH3AddGuide)。
  • MiniMax H3 模型文件(Ref2VA、CLIP、视频 VAE、音频 VAE)放置在常规 ComfyUI/models/… 目录中。
  • 高分辨率阶段所需的 MiniMax H3 潜在空间上采样器检查点,位于 ComfyUI/models/latent_upscale_models/
  • Python 3.10+、PyTorch、torchaudio、Pillow、NumPy、PyAV、aiohttp、imageio-ffmpeg(通常随 ComfyUI 一并打包)。

典型工作流

  1. 设置输出分辨率(widthheight)和总生成时长(generation_seconds)。
  2. 将图像、视频片段和音频文件拖放到规划器的容器中。
  3. 在时间线上排列它们,按需裁剪/分割,并用青色“生成范围”覆盖模型应填充的区间。
  4. 选择每段的模式:
    • 固定引导 – 精确锚定重叠帧的生成结果。
    • 可编辑参考 – 将该片段视为参考,但不锁定主体。
    • 仅边界 – 仅锚定首尾重叠帧。
  5. (可选)若希望使用多模态提示重写器修改 H3 提示,请启用 Omni 提示桥接。
  6. 打开 两阶段采样,选择潜在空间上采样器模型,并设置高分辨率步数(例如 8 步调度中设为 2 步)。
  7. 运行图谱 – 插件将生成每个段落,应用漂移控制,混合音频,并输出单个 MP4。

性能提示 – 作者报告称,在单个 GPU 上使用 75% 低分辨率 / 25% 高分辨率调度,可于约 10 分钟内生成 1536×832、29 秒的视频。实际速度取决于显存、模型大小和参考媒体的复杂性。

示例资源 – 仓库附带两个 60 秒的演示视频(有限段延续和参考重叠)以及完整功能的 JSON 工作流(MiniMaxH3全功能合一完全体导演台工作流.json)。请从 Releases 页面下载以查看质量与无缝拼接效果。

许可证 – GPL-3.0(参见 LICENSE)。


本摘要仅基于仓库的 README;未推断任何额外功能。

相关

  • 项目
  • 项目
  • 项目
  • 项目