Alibaba-Quark/LiveAvatar

[ECCV 2026 Spotlight] Implementation of "Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length"

Live Avatar – 实时、无限长度的音频驱动头像生成

Live Avatar 是一个研究级系统，可将语音音频（以及可选的参考图像/文本提示）转换为连续的说话头像视频。核心是一个 140亿参数的扩散模型（WanS2V-14B），通过 LoRA 检查点（Live-Avatar）进行微调。通过结合自定义的 分块自回归 流水线与激进的推理技巧（4步采样、FlashAttention、FP8 量化、编译），作者在多 GPU H800 硬件上实现了 约 45 FPS 的流式生成，并可通过分块自回归处理持续生成 超过 10,000 秒 的视频而无需重启。

主要特性

特性	含义
实时流式生成	在音频流传输过程中实时生成视频帧，延迟极低（约 45 FPS）。
无限长度自回归	流水线以分块方式处理视频，支持任意长度的流（已测试 > 10,000 秒）。
音频驱动	输入为波形；模型将口型和面部表情与语音同步。
参考图像与可选文本	用户可提供肖像（或卡通）定义头像外观，并通过提示词控制风格。
140亿参数扩散骨干	基于 WanS2V-14B 视频扩散模型，提供高视觉保真度。
加速技巧	4步DDPM采样、FlashAttention 2/3、流水线并行、可选FP8量化、JIT编译。
多GPU与单GPU支持	提供5GPU流式推理官方脚本，以及单张80GB GPU（离线生成）脚本。
开源组件	模型权重托管于 Hugging Face，演示网站、Gradio UI 和推理脚本均以 Apache 2.0 许可发布。

快速开始（Linux，Conda）

# 1️⃣ 创建环境
conda create -n liveavatar python=3.10 -y
conda activate liveavatar

# 2️⃣ （可选）安装 CUDA 12.4 工具包
conda install nvidia/label/cuda-12.4.1::cuda -y
conda install -c nvidia/label/cuda-12.4.1 cudatoolkit -y

# 3️⃣ 安装 PyTorch + FlashAttention
pip install torch==2.8.0 torchvision==0.23.0 \
    --index-url https://download.pytorch.org/whl/cu128
# 对于 Hopper GPU（H800/H200）使用 FlashAttention-3，否则使用 FlashAttention-2
pip install flash_attn_3 --find-links https://windreamer.github.io/flash-attention3-wheels/cu128_torch280 --extra-index-url https://download.pytorch.org/whl/cu128
# 或
# pip install flash-attn==2.8.3 --no-build-isolation

# 4️⃣ 安装 Python 依赖
pip install -r requirements.txt

# 5️⃣ 安装 ffmpeg（Ubuntu 示例）
sudo apt-get update && sudo apt-get install -y ffmpeg

# 6️⃣ 下载模型检查点（如需请替换为你的 HF 令牌）
export HF_ENDPOINT=https://hf-mirror.com   # 中国大陆可选
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B
huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar

推理运行

多GPU流式（推荐全速）

bash infinite_inference_multi_gpu.sh   # CLI 版本
# 或
bash gradio_multi_gpu.sh               # 启动 Gradio UI

需要至少五张 GPU，每张 ≥ 80GB VRAM。

单GPU（离线）生成

bash infinite_inference_single_gpu.sh   # CLI 版本
# 或
bash gradio_single_gpu.sh               # Gradio UI

可在单张 80GB GPU 上运行；可能需要降低 size 以避免 OOM。

重要参数

ENABLE_COMPILE=true – 启用 JIT 编译；首次运行较慢，后续运行大幅加速（对长视频流至关重要）。
ENABLE_FP8=true – 切换至 FP8 量化，降低 VRAM 使用量，使 48GB GPU 也能运行，仅轻微质量损失。
--num_clip N – 生成 N 个短片段用于快速预览。
--enable_online_decode false – 在单GPU运行时禁用实时解码，减少 CPU-GPU 通信（对极长视频可能轻微影响质量）。

仓库内容

推理脚本（infinite_inference_*.sh, gradio_*.sh）：设置 TPP（时间并行流水线）并启动生成。
requirements.txt：作者使用的精确 Python 包版本。
模型检查点：托管于 Hugging Face；仓库仅包含下载辅助工具。
演示页面（https://liveavatar.github.io/）：展示人机对话、无限视频循环与角色多样性。
引用信息与许可（Apache 2.0）。

发展路线图（仓库中列出）

✅ 多GPU实时流式（已发布）
✅ 单GPU离线推理
✅ FP8 量化与编译加速
⬜ UI 集成以实现无缝流式交互
⬜ 文本到语音（TTS）耦合
⬜ 完整训练流水线（未来发布）
⬜ 进一步模型优化（RoPE、LoRA 合并、流式 VAE 集成）

许可与致谢

代码与大多数资产采用 Apache 2.0。
基础扩散模型（WanS2V-14B）也采用 Apache 2.0。
作者感谢相关工作如 CausVid, LongLive, 和 WanS2V。

谁可能使用它？

研究人员：探索音频驱动视频合成、流式扩散或低延迟生成式 AI。
开发者：构建虚拟助手、直播或元宇宙体验的交互式头像。
艺术家：需要从语音录音中实时控制角色动画的工具。

总结

Live Avatar 证明了基于扩散的视频模型可以被工程化为在现代 GPU 集群上实现 实时、分块、无限 运行，为实时 AI 驱动头像体验打开了大门。