NikoDemon80/ComfyUI-H3-Motion-Context
Clip chaining for MiniMax H3 in ComfyUI - motion and audio genuinely continue across joins
H3 运动上下文 – 为 ComfyUI 的 MiniMax‑H3 实现无缝串联
功能
- 添加一组自定义节点,使您可以串联 MiniMax‑H3 视频加音频生成,使运动和声音从一个片段平滑延续到下一个。
- 前一个片段作为潜在表示(视频帧和音频的内部表示)传递,而不是解码为像素再重新编码。这消除了每次链接后通常出现的颜色漂移、模糊和“软化”现象。
- 音频正确锚定:前一个片段末尾的声音被复制到下一个片段的时间线中,避免了大多数 H3 工作流中出现的可听“重启”问题。
存在原因
- 内置的 Add Guide 节点可以锚定静态或短片段,但在生成一系列片段时,它不保持运动/音频连续性。
- 正常串联强制每次连接都进行解码‑调整大小‑编码的往返,这会降低视觉质量并引入微妙的音频滴答声。
- 此包通过直接切片潜在表示并将固定音频放置在精确帧处来解决这两个问题。
安装
将文件夹放入 ComfyUI/custom_nodes/ 并重启 ComfyUI。
您将看到控制台消息确认节点已注册且布局检查通过。无需其他配置。
核心节点与连接
| 节点 | 用途 | 如何连接 |
|---|---|---|
| H3 运动上下文 | 接受当前生成、前一个片段的潜在表示,并生成延续运动/音频的新片段。 | 将常规 MiniMax‑H3 生成器连接到左侧输入,将前一片段潜在表示(来自保存/加载对)连接到右侧 context_latent 输入。 |
| H3 运动上下文保存潜在表示 | 将当前片段的潜在表示(视频+音频)写入文件(clip_XXXXX.safetensors)。 |
放置在采样器之后;设置 clip_index 为您要保存的编号(例如,第一个片段为 1)。 |
| H3 运动上下文加载潜在表示 | 读取先前保存的潜在表示并将其馈送到下一次运行的 context_latent。 |
放置在运动上下文节点之前;设置 clip_index 为您要从中继续的片段(例如,第一次运行为 0,第二次为 1)。 |
| H3 运动上下文修剪 | 从输出中移除固定的头部帧,以便您可以将新片段连接到旧片段之后。 | 将运动上下文节点中的 trim_frames 连接到该修剪节点,然后将修剪后的视频/音频馈送到最终解码器或视频保存节点。 |
| H3 运动上下文串联 | 便捷节点,自动推进加载/保存索引并自动排队下一个片段(用于长时间运行的串联)。 | 将加载、保存和串联分组在画布组中;按 串联 持续生成片段直到停止。 |
典型流程
MiniMaxH3 → H3 运动上下文 ← 加载潜在表示
→ 采样器 → 保存潜在表示 → (输出视频/音频)
→ 修剪 → 创建视频
对于第一个片段,加载潜在表示 索引 0 读取无内容;节点仍报告 trim_frames = 0,因此您可以保持启用。
关键设置
- context_length – 固定前一个视频的帧数(选项:5、22、39、56)。推荐 22 以获得无缝外观。
- audio_context_length – 固定的尾部音频帧数(必须是 3 的倍数)。推荐 18 以在连续性和闷音之间取得良好平衡。
- match_tail(在修剪节点上)– 保持启用;它对齐音频网格,使连接在约 8 毫秒内。
所有其他参数在节点代码中固定;如果确实需要,您只能通过编辑 nodes.py 进行调整。
实验性漂移减少辅助节点(可选)
| 节点 | 功能 |
|---|---|
| H3 细化混合 | 运行快速第二遍,重新读取您的参考,然后在固定帧之后混合结果。 |
| H3 连接匹配 | 调整前一片段最后帧与新片段第一帧之间的亮度/对比度/细节。 |
| H3 西格玛尾部 | 调整最终噪声调度以减少可能加剧漂移的额外锐度。 |
将这些放置在包含加载/保存/串联的同一画布组中,以保持与串联同步。
限制与注意事项
- 质量损失累积 – 每次链接都从先前的潜在表示重新生成片段,因此视觉伪影尤其是高频音频损失会在多个片段中累积。
- 音频偏移 – 早期版本有约 8 毫秒的延迟;现在已对齐到模型的 40 Hz 音频网格,但偏移仍然存在(微小,通常听不见)。
- 采样率 – H3 输出 32 kHz 音频。如果您需要 48 kHz,必须在连接后重新采样。
- 分辨率固定 – 潜在表示无法调整大小,因此串联中的所有片段必须共享相同的分辨率。
- Turbo LoRA / Spectrum – 这些加速采样器也会降低音频质量;串联时请关闭它们。
- 提示设计 – 固定帧不是建议;任何与固定帧相矛盾的提示将额外渲染在固定内容之上,通常会产生不需要的合成。编写下一个提示时,应从固定帧之后开始(例如,短暂的“保持”然后新动作)。
快速入门清单
- 将文件夹安装在
ComfyUI/custom_nodes/下并重启。 - 创建包含 加载潜在表示、运动上下文、保存潜在表示 以及可选 串联 的画布组。
- 设置
加载索引 0,保存索引 1,运行图 – 您得到片段 1。 - 按 批准(或 串联 自动循环)以推进索引并生成片段 2,依此类推。
- 使用 修剪 节点在连接片段之前切掉固定的头部。
- (可选)添加 细化混合 / 连接匹配 以减少漂移。
摘要
H3 运动上下文 是 ComfyUI 的一个小而强大的附加组件,通过直接在运行之间传递潜在表示、修剪固定头部,并提供自动串联和漂移减少的辅助节点,使您能够生成具有连续运动和音频的长而连贯的 MiniMax‑H3 视频。它适用于 ComfyUI 0.34+(或旧版本的兼容版本 0.3.1)。
相关
- 项目
- 项目
- 项目
- 项目
- 项目