Songssx/ComfyUI-MiniMaxH3-TimelineDirector
Editable reference-media timeline director for ComfyUI MiniMax H3 Reference to Video
ComfyUI MiniMax H3 时间线导演
是什么 – 一个由社区开发的插件,为可视化编程界面 ComfyUI 添加了一组单一的高级节点,用于构建使用 MiniMax H3 模型的无限长度视频流水线。它允许你布置时间线上的片段(文本提示、参考图像、参考视频、音频轨道等),将目标时长拆分为任意数量的潜在延续段,并由插件自动拼接各部分。
为何重要 – 使用扩散模型生成长视频通常需要手动循环或重复执行图谱,这会迅速导致质量下降、音频故障和明显的接缝。此节点包实现了:
- 有限段延续 – 每个段落通过共享种子从上一段的 AV 潜在空间延续,确保视频潜在路径始终在模型的潜在空间内。
- 漂移控制掩码 – 自适应掩码保持潜在空间在段落边界处“在轨”,消除闪烁、白光和模糊。
- 软AV音频连续性 – 原始音频波形可被锁定并重新注入,使唇形同步和配乐保持不变,同时模型仍驱动运动。
- 两阶段 SelfLift 采样 – 内置渐进式分辨率采样器(约 75% 低分辨率,25% 高分辨率),对每个段落运行,避免事后放大导致的质量下降。
- 完整时间线 UI – 可移动/裁剪/分割片段,对齐到帧,为每个片段分配模式(固定引导、可编辑参考、仅边界),在高分辨率生成期间可查看低分辨率预览代理(最高 480×270 @ 12 fps)。
核心组件
| 节点 | 作用 |
|---|---|
| MiniMax H3 材料规划器 | 用于安排媒体、设置生成窗口,并输出描述每个段落应执行内容的紧凑“计划”。 |
| MiniMax H3 全媒体包提示桥接 | (可选)将有序媒体包发送到外部 Prompt-Rewriter Omni 后端,并接收重写后的 H3 提示。 |
| MiniMax H3 有限段采样 | 核心引擎 – 将图谱展开为逐段采样,应用漂移控制掩码,执行两阶段 SelfLift 调度,并组装最终视频/音频。 |
| MiniMax H3 时间线导演(兼容性) | 薄包装器,保留旧图谱的全合一工作流格式。 |
安装
# 在你的 ComfyUI/custom_nodes 文件夹内
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git
重启 ComfyUI,查找名称以 MiniMax H3 开头的节点。
运行时要求
- 已包含原生 MiniMax H3 节点的最新 ComfyUI 构建(若使用引导,需包含
MiniMaxH3AddGuide)。 - MiniMax H3 模型文件(Ref2VA、CLIP、视频 VAE、音频 VAE)放置在常规
ComfyUI/models/…目录中。 - 高分辨率阶段所需的 MiniMax H3 潜在空间上采样器检查点,位于
ComfyUI/models/latent_upscale_models/。 - Python 3.10+、PyTorch、torchaudio、Pillow、NumPy、PyAV、aiohttp、imageio-ffmpeg(通常随 ComfyUI 一并打包)。
典型工作流
- 设置输出分辨率(
width、height)和总生成时长(generation_seconds)。 - 将图像、视频片段和音频文件拖放到规划器的容器中。
- 在时间线上排列它们,按需裁剪/分割,并用青色“生成范围”覆盖模型应填充的区间。
- 选择每段的模式:
- 固定引导 – 精确锚定重叠帧的生成结果。
- 可编辑参考 – 将该片段视为参考,但不锁定主体。
- 仅边界 – 仅锚定首尾重叠帧。
- (可选)若希望使用多模态提示重写器修改 H3 提示,请启用 Omni 提示桥接。
- 打开 两阶段采样,选择潜在空间上采样器模型,并设置高分辨率步数(例如 8 步调度中设为 2 步)。
- 运行图谱 – 插件将生成每个段落,应用漂移控制,混合音频,并输出单个 MP4。
性能提示 – 作者报告称,在单个 GPU 上使用 75% 低分辨率 / 25% 高分辨率调度,可于约 10 分钟内生成 1536×832、29 秒的视频。实际速度取决于显存、模型大小和参考媒体的复杂性。
示例资源 – 仓库附带两个 60 秒的演示视频(有限段延续和参考重叠)以及完整功能的 JSON 工作流(MiniMaxH3全功能合一完全体导演台工作流.json)。请从 Releases 页面下载以查看质量与无缝拼接效果。
许可证 – GPL-3.0(参见 LICENSE)。
本摘要仅基于仓库的 README;未推断任何额外功能。
相关
- 项目
- 项目
- 项目
- 项目