Songssx/ComfyUI-MiniMaxH3-TimelineDirector

Editable reference-media timeline director for ComfyUI MiniMax H3 Reference to Video

ComfyUI MiniMax H3 タイムライン・ディレクター

何であるか – 可視プログラミングUI ComfyUI 用のコミュニティ作成プラグインで、MiniMax H3モデルで無限長の動画パイプラインを構築するための単一の高レベルノードセットを追加します。テキストプロンプト、参照画像、参照動画、オーディオトラックなどのクリップをタイムライン上に配置し、目的の長さを任意の数の潜在継続セグメントに分割し、プラグインが自動的に各部分をつなぎ合わせます。

なぜ重要か – ディフュージョンモデルで長時間の動画を生成する場合、通常は手動のループや繰り返しグラフ実行が必要となり、品質の低下、オーディオの不具合、目立つ継ぎ目が発生します。このノードバンドルは以下の機能を実装しています:

  • 有限セグメント継続 – 各セグメントは前のセグメントのAV潜在空間を共有シードで継続するため、動画潜在空間がモデルの潜在空間から逸脱することはありません。
  • ドリフト制御マスク – 自适应マスクにより、セグメント境界間で潜在空間が「軌道上」に保たれ、フレッシャー、白飛び、ぼやけを排除します。
  • ソフトAVオーディオ継続 – 元のオーディオ波形をロックして再注入することで、リップシンクとサウンドトラックは変化せず、モデルは動きを駆動し続けます。
  • 2段階SelfLiftサンプリング – 各セグメントごとに実行されるプログレッシブ解像度サンプラー(約75 %低解像度、25 %高解像度)で、後からアップスケーリングする場合に発生する品質劣化を回避します。
  • 完全なタイムラインUI – クリップの移動・トリミング・分割、フレームにスナップ、各クリップのモード(固定ガイド、編集可能な参照、境界のみ)の割り当てが可能。高解像度生成中は低解像度プレビュー(最大480×270 @ 12 fps)を確認できます。

主要コンポーネント

ノード 役割
MiniMax H3 マテリアルプランナー メディアの配置、生成ウィンドウの設定、各セグメントの動作を記述するコンパクトな「計画」を出力するUI。
MiniMax H3 オムニメディアバンドルプロンプトブリッジ (オプション)順序付きメディアバンドルを外部の Prompt-Rewriter Omni バックエンドに送信し、再書き換えされたH3プロンプトを受信します。
MiniMax H3 有限セグメントサンプリング コアエンジン – グラフをセグメントごとのサンプリングに展開し、ドリフト制御マスクを適用、2段階SelfLiftスケジュールを実行、最終的な動画/オーディオをアセンブルします。
MiniMax H3 タイムライン・ディレクター(互換性) 古い保存グラフのすべてを1つのワークフロー形式を保持するための薄いラッパー。

インストール

# ComfyUI/custom_nodesフォルダ内
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git

ComfyUIを再起動し、MiniMax H3で始まるノードを探してください。

実行環境要件

  • 既にネイティブなMiniMax H3ノード(ガイドを使用する場合はMiniMaxH3AddGuideを含む)を搭載している最新のComfyUIビルド。
  • MiniMax H3モデルファイル(Ref2VA、CLIP、動画VAE、オーディオVAE)を通常のComfyUI/models/…ディレクトリに配置。
  • 高解像度段階用のMiniMax H3潜在空間アップスケーラーチェックポイントをComfyUI/models/latent_upscale_models/に配置。
  • Python 3.10+、PyTorch、torchaudio、Pillow、NumPy、PyAV、aiohttp、imageio-ffmpeg(ComfyUIに通常バンドルされています)。

一般的なワークフロー

  1. 出力解像度(widthheight)と総生成時間(generation_seconds)を設定。
  2. 画像、動画クリップ、オーディオファイルをプランナーのバインにドラッグ&ドロップ。
  3. タイムライン上に配置し、必要に応じてトリミング・分割を行い、モデルが埋めるべき区間を水色の「生成範囲」で塗りつぶす。
  4. 各クリップのモードを選択:
    • 固定ガイド – オーバーラップフレームを生成されたまま正確に固定。
    • 編集可能な参照 – クリップを参照として扱い、対象をロックしない。
    • 境界のみ – 最初/最後のオーバーラップフレームのみを固定。
  5. (オプション)マルチモーダルプロンプトリライターを使用する場合は、オムニプロンプトブリッジを有効化。
  6. 2段階サンプリングをオンにし、潜在空間アップスケーラーモデルを選択し、高解像度ステップ数を設定(例:8ステップスケジュールで2ステップ)。
  7. グラフを実行 – プラグインは各セグメントを生成し、ドリフト制御を適用、オーディオをブレンドし、単一のMP4を出力します。

パフォーマンスのヒント – 作者らによると、1GPUで1536×832、29秒の動画を約10分で生成可能。実際の速度はVRAM、モデルサイズ、参照メディアの複雑さに依存します。

例のアセット – リポジトリには60秒のデモ動画2本(有限セグメント継続、参照オーバーラップ)と、フル機能JSONワークフロー(MiniMaxH3全機能合一完全体导演台工作流.json)が同梱されています。Releasesページからダウンロードして、品質と継ぎ目なしの接続を確認してください。

ライセンス – GPL-3.0(LICENSEを参照)。


この要約はリポジトリのREADMEに基づくものであり、追加の機能は推測されていません。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト