Songssx/ComfyUI-MiniMaxH3-TimelineDirector

Editable reference-media timeline director for ComfyUI MiniMax H3 Reference to Video

ComfyUI MiniMax H3 時間軸導演

是什麼 – 由社群開發的插件,為可視化程式設計介面 ComfyUI 增加一組單一的高階節點,用於建構使用 MiniMax H3 模型的無限長影片流程。它允許你佈置時間軸上的片段(文字提示、參考影像、參考影片、音訊軌道等),將目標時長拆分成任意數量的潛在延續段,並由插件自動拼接各部分。

為何重要 – 使用擴散模型生成長影片通常需要手動迴圈或重複執行圖譜,這會迅速導致品質下降、音訊故障和明顯的接縫。此節點套件實現了:

  • 有限段延續 – 每個段落透過共享種子從上一段的 AV 潛在空間延續,確保影片潛在路徑始終在模型的潛在空間內。
  • 漂移控制遮罩 – 自適應遮罩保持潛在空間在段落邊界處「在軌」,消除閃爍、白光和模糊。
  • 軟AV音訊連續性 – 原始音訊波形可被鎖定並重新注入,使唇形同步和配樂保持不變,同時模型仍驅動運動。
  • 兩階段 SelfLift 採樣 – 內建漸進式解析度採樣器(約 75% 低解析度,25% 高解析度),對每個段落執行,避免事後放大導致的品質下降。
  • 完整時間軸 UI – 可移動/裁剪/分割片段,對齊到幀,為每個片段分配模式(固定引導、可編輯參考、僅邊界),在高解析度生成期間可查看低解析度預覽代理(最高 480×270 @ 12 fps)。

核心元件

節點 作用
MiniMax H3 材料規劃器 用於安排媒體、設定生成窗口,並輸出描述每個段落應執行內容的緊湊「計畫」。
MiniMax H3 全媒體包提示橋接 (可選)將有序媒體包傳送至外部 Prompt-Rewriter Omni 後端,並接收重寫後的 H3 提示。
MiniMax H3 有限段採樣 核心引擎 – 將圖譜展開為逐段採樣,應用漂移控制遮罩,執行兩階段 SelfLift 排程,並組裝最終影片/音訊。
MiniMax H3 時間軸導演(相容性) 薄包裝器,保留舊圖譜的全合一工作流程格式。

安裝

# 在你的 ComfyUI/custom_nodes 資料夾內
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git

重新啟動 ComfyUI,尋找名稱以 MiniMax H3 開頭的節點。

執行時需求

  • 已包含原生 MiniMax H3 節點的最新 ComfyUI 建構(若使用引導,需包含 MiniMaxH3AddGuide)。
  • MiniMax H3 模型檔案(Ref2VA、CLIP、影片 VAE、音訊 VAE)放置在常規 ComfyUI/models/… 目錄中。
  • 高解析度階段所需的 MiniMax H3 潛在空間上採樣器檢查點,位於 ComfyUI/models/latent_upscale_models/
  • Python 3.10+、PyTorch、torchaudio、Pillow、NumPy、PyAV、aiohttp、imageio-ffmpeg(通常隨 ComfyUI 一併打包)。

典型工作流程

  1. 設定輸出解析度(widthheight)和總生成時長(generation_seconds)。
  2. 將影像、影片片段和音訊檔案拖曳至規劃器的容器中。
  3. 在時間軸上排列它們,按需裁剪/分割,並用青色「生成範圍」覆蓋模型應填補的區間。
  4. 選擇每段的模式:
    • 固定引導 – 精確錨定重疊幀的生成結果。
    • 可編輯參考 – 將該片段視為參考,但不鎖定主體。
    • 僅邊界 – 僅錨定首尾重疊幀。
  5. (可選)若希望使用多模態提示重寫器修改 H3 提示,請啟用 Omni 提示橋接。
  6. 打開 兩階段採樣,選擇潛在空間上採樣器模型,並設定高解析度步數(例如 8 步排程中設為 2 步)。
  7. 執行圖譜 – 插件將生成每個段落,應用漂移控制,混合音訊,並輸出單一 MP4。

效能提示 – 作者報告稱,在單一 GPU 上使用 75% 低解析度 / 25% 高解析度排程,可於約 10 分鐘內生成 1536×832、29 秒的影片。實際速度取決於顯存、模型大小和參考媒體的複雜性。

範例資源 – 倉庫附帶兩個 60 秒的示範影片(有限段延續和參考重疊)以及完整功能的 JSON 工作流程(MiniMaxH3全功能合一完全体导演台工作流.json)。請從 Releases 頁面下載以查看品質與無縫拼接效果。

授權 – GPL-3.0(參見 LICENSE)。


本摘要僅基於倉庫的 README;未推斷任何額外功能。

相關

  • 專案
  • 專案
  • 專案
  • 專案