pytraveler/MiniMax-H3-Prompt-Rewriter-ComfyUI

解決する課題

このプロジェクトは、短くシンプルなプロンプトを、MiniMax-H3ビデオ生成モデル向けに特別にフォーマットされた構造化された本番レベルのオーディオ・ビデオ記述に変換するComfyUIノードを提供します。高品質なMiniMax-H3の出力を得るために必要な、複雑なショットごとの記述、サウンドスケープ、楽曲のスコアを手動で作成する手間を省きます。

仕組み

このシステムは、さまざまな大規模言語モデル (LLM) とLoRAアダプターを使用してユーザーの入力を拡張します。主に4つのパスを提供します：

• LoRAベースの書き換え: 専用アダプターを備えたQwenモデル (27B, 8B, または Omni) を使用して構造化された出力を生成します。8BおよびOmniバージョンはマルチモーダルであり、参照画像やオーディオクリップを「見て」「聞いて」書き換えに反映させることができます。
• ライターノード: MiniMaxの公式ライティングガイドに基づいたシステムプロンプトによってガイドされる、指示追従型のGGUFモデルを使用し、低スペックなハードウェア向けの軽量な代替手段を提供します。
• 参照キャプション: 画像、オーディオ、またはビデオを、ライターノードが使用できるテキスト記述に変換します。
• プロンプトプリセット: すぐに使用できる1,000個のMiniMax-H3プロンプトライブラリ。

対象ユーザー

• MiniMax-H3でビデオを生成するComfyUIユーザー。
• 手動で作成することなく、高品質で構造化されたビデオプロンプトを求めるクリエイター。
• 8GB VRAM (ライターノードを使用) から16GB+ VRAM (27B LoRAを使用) まで、さまざまなハードウェア環境のユーザー。

ハイライト

• マルチモーダル入力: テキストからビデオ (T2VA)、画像からビデオ (I2VA)、最初と最後のフレームからビデオ (FL2VA)、参照からビデオ (Ref2VA) をサポート。
• ローカル実行: すべてのプロンプトの書き換えは完全にローカルで行われます。
• 柔軟なモデルオプション: さまざまなVRAM予算に合わせて、複数のモデルサイズ (27B, 8B, Omni) と量子化フォーマット (nf4, int8, GGUF) をサポート。
• 統合ワークフロー: ユーザーがさまざまなプロンプト生成戦略をすぐに開始できるように、7つのサンプルワークフローが含まれています。