Alibaba-Quark/LiveAvatar

[ECCV 2026 Spotlight] Implementation of "Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length"

Live Avatar – 実時間、無限長の音声駆動型アバター生成

Live Avatar は、音声トラック（およびオプションの参照画像／テキストプロンプト）を連続的な動画アバターに変換する研究レベルのシステムです。コアは 140億パラメータの拡散モデル（WanS2V-14B）で、LoRAチェックポイント（Live-Avatar）によるファインチューニングが施されています。カスタムの ブロック単位の自己回帰パイプライン と攻撃的な推論テクニック（4ステップサンプリング、FlashAttention、FP8量子化、コンパイル）を組み合わせることで、マルチGPU H800環境で 約45 FPS のストリーミング生成を実現し、10,000秒以上 の再生を再起動せずに継続可能となっています。

主な特徴

特徴	意味
実時間ストリーミング	音声がストリーミングされる間に動画フレームをリアルタイム生成し、低遅延（約45 FPS）を実現。
無限長の自己回帰	動画をブロック単位で処理するパイプラインにより、任意の長さのストリームが可能（テスト済み：10,000秒以上）。
音声駆動	入力は波形。モデルは口の動きや表情を音声に同期させます。
参照画像とオプションのテキスト	ポートレート（またはアニメ）を提供してアバターの外見を定義し、プロンプトでスタイルを制御可能。
140億パラメータの拡散バックボーン	WanS2V-14B動画拡散モデルを基盤としており、高品質な視覚表現を実現。
高速化テクニック	4ステップDDPMサンプリング、FlashAttention 2/3、パイプライン並列化、オプションのFP8量子化、JITコンパイル。
マルチGPUおよびシングルGPU対応	5GPUストリーミング推論用の公式スクリプトと、1枚の80GB GPU（オフライン生成）用スクリプトを提供。
オープンソースコンポーネント	モデル重みはHugging Faceにホスト、デモサイト、Gradio UI、推論スクリプトはApache 2.0ライセンスで公開。

クイックスタート（Linux、Conda）

# 1️⃣ 環境作成
conda create -n liveavatar python=3.10 -y
conda activate liveavatar

# 2️⃣ （オプション）CUDA 12.4ツールキットのインストール
conda install nvidia/label/cuda-12.4.1::cuda -y
conda install -c nvidia/label/cuda-12.4.1 cudatoolkit -y

# 3️⃣ PyTorch + FlashAttentionのインストール
pip install torch==2.8.0 torchvision==0.23.0 \
    --index-url https://download.pytorch.org/whl/cu128
# Hopper GPU（H800/H200）はFlashAttention-3、それ以外はFlashAttention-2を使用
pip install flash_attn_3 --find-links https://windreamer.github.io/flash-attention3-wheels/cu128_torch280 --extra-index-url https://download.pytorch.org/whl/cu128
# または
# pip install flash-attn==2.8.3 --no-build-isolation

# 4️⃣ Python依存関係のインストール
pip install -r requirements.txt

# 5️⃣ ffmpegのインストール（Ubuntu例）
sudo apt-get update && sudo apt-get install -y ffmpeg

# 6️⃣ モデルチェックポイントのダウンロード（必要に応じてHFトークンを指定）
export HF_ENDPOINT=https://hf-mirror.com   # 中国本土向けオプション
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B
huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar

推論の実行

マルチGPUストリーミング（推奨：最高速度）

bash infinite_inference_multi_gpu.sh   # CLIバージョン
# または
bash gradio_multi_gpu.sh               # Gradio UIを起動

少なくとも5枚のGPU（各GPUのVRAMが80GB以上）が必要。

シングルGPU（オフライン）生成

bash infinite_inference_single_gpu.sh   # CLIバージョン
# または
bash gradio_single_gpu.sh               # Gradio UI

1枚の80GB GPUで動作可能。OOMを避けるためにsizeを下げることが必要になる場合あり。

重要なフラグ

ENABLE_COMPILE=true – JITコンパイルを有効化。初回は遅いが、以降は大幅に高速化（長時間ストリームに不可欠）。
ENABLE_FP8=true – FP8量子化に切り替え、48GB GPUに収まるようにVRAM使用量を削減（品質はわずかに低下）。
--num_clip N – 短いクリップをN個生成して即時プレビュー。
--enable_online_decode false – シングルGPU実行時にオンザフライデコードを無効化し、CPU-GPU間の通信を削減（非常に長い動画では品質にわずかな影響あり）。

リポジトリに含まれるもの

推論スクリプト（infinite_inference_*.sh, gradio_*.sh）：TPP（Temporal-Parallel-Pipeline）をセットアップし、生成を開始。
requirements.txt：著者が使用した正確なPythonパッケージバージョンを記載。
モデルチェックポイント：Hugging Faceにホスト。リポジトリにはダウンロードヘルパーのみ含まれる。
デモページ（https://liveavatar.github.io/）：人間-AI会話、無限動画ループ、キャラクター多様性を紹介。
引用情報およびライセンス（Apache 2.0）。

ロードマップ（リポジトリに記載）

✅ マルチGPU実時間ストリーミング（既にリリース済み）
✅ シングルGPUオフライン推論
✅ FP8量子化とコンパイルによる高速化
⬜ UI統合によるストリーミング操作の簡素化
⬜ テキストから音声（TTS）連携
⬜ 完全なトレーニングパイプライン（将来リリース予定）
⬜ さらなるモデル最適化（RoPE、LoRAマージ、ストリーミングVAE統合）

ライセンスと謝辞

コードおよび大多数のアセットは Apache 2.0。
基盤となる拡散モデル（WanS2V-14B）もApache 2.0。
本研究は CausVid, LongLive, WanS2V などの関連研究に感謝。

どのような人に向いているか？

研究者：音声駆動動画合成、ストリーミング拡散、低遅延生成AIの研究。
開発者：仮想アシスタント、ライブストリーミング、メタバース体験用のインタラクティブアバター開発。
アーティスト：声の録音からキャラクターをリアルタイムでアニメーション化できる制御可能なツールが必要な人。

まとめ

Live Avatarは、拡散ベースの動画モデルが現代のGPUクラスタ上で 実時間、ブロック単位、無限に 動作可能であることを実証し、ライブAI駆動アバター体験の扉を開きました。