Francis-Rings/StableAvatar

StableAvatar – 無限長の音声駆動アバタービデオ生成

これは何か

• 単一の参照画像と音声トラックから話す頭部/アバタービデオを生成する研究グレードのビデオ拡散モデル。
• 以前の音声駆動ジェネレーターとは異なり、StableAvatar は無制限のビデオ長を生成でき、被写体のアイデンティティとリップシンクを正確に保ち、後処理（フェイススワップや修復ステップ）は不要です。

主要な技術的アイデア

コンポーネント	目的
タイムステップ認識オーディオアダプター	各拡散タイムステップでオーディオ埋め込みを変調し、長いクリップ生成を通常壊す潜在ドリフトを防ぎます。
オーディオネイティブガイダンス	モデル自身の進化するオーディオ潜在予測を動的ガイドとして使用し、推論中のリップシンクを強化します。
動的重み付きスライディングウィンドウ	連続する生成ウィンドウを重ねて潜在変数をブレンドし、任意の長さのビデオ全体で滑らかな遷移を実現します。
ビデオ拡散トランスフォーマー（DiT）バックボーン	混合解像度の話す顔データセット（512×512、480×832、832×480）でトレーニングされた1.3Bパラメータのトランスフォーマー（Wan2.1）。

これでできること

• 任意の肖像画像と音声/オーディオファイルから、3つの解像度（512×512、480×832、832×480）で無限のアバタークリップを生成。
• カスタムアイデンティティやスタイル用にモデルを微調整したり、LoRAアダプターをトレーニングしたりできます（トレーニングスクリプトとLoRAコードが提供されています）。
• 単一GPU（CPUオフロードで約3GBメモリ）で推論を実行するか、提供されている multiple_gpu_inference.sh スクリプトを使用してマルチGPUセットアップに拡張できます。
• モデルをGradio、ComfyUI、またはHugging Face Spacesに統合して、インタラクティブなデモを実現できます。

クイックスタート概要

1. インストール 正確なPyTorch 2.6（Blackwell GPUの場合は2.7）と requirements.txt の他の依存関係。
2. ダウンロード Hugging Faceリポジトリ（FrancisRing/StableAvatar）からチェックポイントを取得。
3. 準備 オーディオファイル（オプションで audio-separator[gpu] を使用してボーカル分離）。
4. 実行 bash inference.sh（またはGradio UI用に python app.py）。--width、--height、--sample_steps、--overlap_window_length、ガイダンススケールを調整して、品質と速度のトレードオフを設定します。
5. 結合 音声付きMP4が必要な場合は、ffmpeg を使用して無音の出力ビデオと元のオーディオを結合します。

トレーニングデータのレイアウト

• リポジトリは、3つの解像度ブランチ（square、vec、rec）を持つフォルダ talking_face_data/ を期待します。
• 各ブランチには speech、singing、dancing のサブフォルダが含まれます。内部には、sub_clip.mp4、audio.wav、images/、face_masks/、lip_masks/ を含むクリップごとのディレクトリがあります。
• フレーム、ボーカルトラック、顔マスク（付属のStableAnimatorリポジトリ経由）、唇マスク（mediapipe）を抽出するスクリプトが提供されています。

ハードウェアに関する注意

• 基本的な推論は、sequential_cpu_offload を使用して約3GBのGPUメモリに収まります。
• より高速な生成のために、flash_attn をインストールできます。
• マルチGPU推論は --ulysses_degree × --ring_degree スキームを使用します。--fsdp_dit でFSDPを有効にできます。

リソース

• プロジェクトページ、論文（arXiv 2508.08248）、Hugging Faceモデルハブ、デモSpace、YouTube/Bilibiliビデオ。
• コードはリポジトリのライセンスに基づきオープンソースです（LICENSE を参照）。

誰が使うか

• 長編の音声駆動ビデオ合成を探求する研究者。
• 仮想プレゼンター、ゲーム、教育用に高忠実度の話す頭部アバターを必要とするクリエイター。
• プラグアンドプレイのアバタージェネレーターを必要とするUIツール（Gradio、ComfyUI）を開発する開発者。