ComfyUI‑H3‑FaceRefine

何であるか

• ComfyUI 用のカスタムノードのコレクションで、MiniMax H3 ディフュージョンモデルで生成された動画内の小さな顔を改善します。
• 各フレームで顔を検出、切り取り、MiniMax H3 で高品質なバージョンを再生成し、元の動画に再統合します。

なぜ重要か

• MiniMax H3 は、頭部が数十ピクセルしか占めない場合、720p+ でも苦戦します。問題は解像度ではなく、入力における顔の小ささです。
• モデルに切り取られた顔で満たされたキャンバスを入力することで、より明確で詳細な顔をレンダリングできます。

主なコンポーネント

ノード	役割
H3 Face Track + Crop	顔を検出し、フレーム間で追跡し、固定サイズのキャンバスに切り取り、切り取り画像と追跡データを出力します。
H3 Load Video + Face Select	動画を読み込み、一度の検出処理を実行し、PySceneDetect を使ってハードカットを検出し、各ショットごとにユーザーが対象の顔を選択できます。
H3 Per‑Frame Denoise	フレームごとのノイズ除去マスクを適用；今やラテン空間だけでなく、モデル ストリームでも動作します。
MiniMaxH3ReferenceToVideo / H3 Inject Video Latent / H3 Face Stitch Back	改善された顔を元の動画に再統合し、音声、VAEデコード、合成を処理します。

新機能（v1.1.2 および v1.1.0）

• より強固な追跡 – 対象顔が一時的に消失しても、別の人物に飛び移ることなく、欠落フレームを補間し、損失を報告します。
• 対象喪失の報告 – ノードのテキストレポートに、顔が検出されなかったフレーム範囲がリストアップされます。
• フォールバック検出器は、最大の人物ではなく、最も近い身体を使用するようになりました。
• 自動選択ワークフロー – 新しいノード（H3 Load Video + Face Select）で、動画を読み込み、すべての顔を検出し、ハードカットを検出し、ショットごとに手動で対象を選びます。
• カット検出 – PySceneDetect とオプション統合により、ハードカットでクリップを分割し、各ショットごとに顔の同一性をリセットします。
• 拡張された select オプション – 9通りの顔選択方法（最大、最小、左端など）と、MiniMax H3 の長さに接続可能な新しい frame_count 出力が追加されました。
• キャンバスのデフォルト値 – デフォルトのキャンバスサイズを 768 px（MiniMax H3 のネイティブ短辺）に引き上げ、最小値を 512 px に固定しました。

インストールと依存関係

1. リポジトリを ComfyUI/custom_nodes/ にクローンし、ComfyUI を再起動します。
2. requirements.txt から必要なパッケージをインストールします（ultralytics, scipy, insightface, scenedetect）。
3. 顔検出モデル（例：models/ultralytics/bbox/ 内の face_yolov8m.pt）を提供する必要があります。オプションのモデル（アニメ顔検出器、CLIP‑Vision、SAM、InsightFace）は特定の機能を強化しますが、必須ではありません。
4. 例のワークフローを使用するには、いくつかの他のカスタムノードパック（VideoHelperSuite、Impact‑Pack、H3‑NativeAudioLock、オプションで GGUF と SAM）が必要です。README に正確な URL が記載されています。

使い方（クイックスタート）

• 提供された2つのワークフローテンプレートのいずれかを開きます：
  1. 自動選択 – ランキングルール（デフォルト：largest_face）を使って顔を自動選択します。
  2. 手動選択 – 各ショットごとに選択したい顔をUIで選択する画面を開きます。
• ソース動画を提供（VHS_LoadVideoPath または H3 Load Video + Face Select を通して）。
• 原始の MiniMax H3 動画に使用した参照画像とプロンプトを提供。
• グラフをキューに登録；パイプラインは以下の手順を実行します：
  1. 顔を検出し、切り取り、キャンバスに拡大。
  2. 切り取り部分に対して MiniMax H3 を実行。
  3. （オプション）ノイズ除去を行い、改善された顔を再統合。
  4. 元の音声を保持し、最終的な動画を保存。

対象ユーザー

• MiniMax H3 を動画生成に使用しており、低解像度の顔に悩んでいるアーティストやクリエイター。
• 既存の H3 ワークフローにそのまま使える ComfyUI ソリューションが必要な人。

制限事項

• 顔が信頼できる追跡が可能な場合に最適な結果が得られます；急激な動きや頻繁な遮蔽は補間アーティファクトを引き起こす可能性があります。
• ノードは外部の顔検出器に依存しています；品質は選択したモデル（写真 vs. アニメ）に依存します。
• scenedetect が不足している場合、カット検出は無効になり、全クリップが1ショットとして扱われます。

---

上記のすべての情報は、リポジトリの README から直接引用されています。