Alibaba-Quark/LiveAvatar

Live Avatar – 실시간, 무한 길이의 음성 주도 아바타 생성

Live Avatar는 음성 트랙(옵션으로 참조 이미지/텍스트 프롬프트 포함)을 입력으로 받아 지속적인 대화 아바타 영상을 생성하는 연구 수준의 시스템입니다. 핵심은 140억 파라미터 확산 모델(WanS2V-14B)로, LoRA 체크포인트(Live-Avatar)를 통해 미세조정되었습니다. 고유한 블록 단위 자기회귀 파이프라인과 공격적인 추론 기술(4단계 샘플링, FlashAttention, FP8 양자화, 컴파일)을 결합하여, 멀티 GPU H800 환경에서 약 45 FPS의 스트리밍 생성을 달성하고, 10,000초 이상 재시작 없이 지속적으로 생성할 수 있습니다.

---

주요 기능

기능	의미
실시간 스트리밍	음성이 스트리밍되는 동안 실시간으로 영상 프레임을 생성하며, 낮은 지연(약 45 FPS)을 제공합니다.
무한 길이 자기회귀	영상을 블록 단위로 처리하는 파이프라인으로, 임의로 긴 스트림을 가능하게 합니다(테스트 > 10,000초).
음성 주도	입력은 웨이브폼이며, 모델은 입술 움직임과 얼굴 표정을 음성에 동기화합니다.
참조 이미지 및 옵션 텍스트	사용자는 포트레이트(또는 만화)를 제공하여 아바타의 외형을 정의하고, 프롬프트로 스타일을 조정할 수 있습니다.
140억 파라미터 확산 백본	높은 시각적 품질을 제공하는 WanS2V-14B 동영상 확산 모델을 기반으로 합니다.
속도 향상 기술	4단계 DDPM 샘플링, FlashAttention 2/3, 파이프라인 병렬화, 선택적 FP8 양자화, JIT 컴파일.
멀티 GPU 및 싱글 GPU 지원	5GPU 스트리밍 추론용 공식 스크립트와 단일 80GB GPU(오프라인 생성)용 스크립트 제공.
오픈소스 구성 요소	모델 가중치는 Hugging Face에 호스팅되며, 데모 웹사이트, Gradio UI, 추론 스크립트는 Apache 2.0 라이선스로 공개됩니다.

---

빠른 시작 (Linux, Conda)

# 1️⃣ 환경 생성
conda create -n liveavatar python=3.10 -y
conda activate liveavatar

# 2️⃣ (옵션) CUDA 12.4 툴킷 설치
conda install nvidia/label/cuda-12.4.1::cuda -y
conda install -c nvidia/label/cuda-12.4.1 cudatoolkit -y

# 3️⃣ PyTorch + FlashAttention 설치
pip install torch==2.8.0 torchvision==0.23.0 \
    --index-url https://download.pytorch.org/whl/cu128
# Hopper GPU(H800/H200)는 FlashAttention-3, 그 외는 FlashAttention-2 사용
pip install flash_attn_3 --find-links https://windreamer.github.io/flash-attention3-wheels/cu128_torch280 --extra-index-url https://download.pytorch.org/whl/cu128
# 또는
# pip install flash-attn==2.8.3 --no-build-isolation

# 4️⃣ Python 종속성 설치
pip install -r requirements.txt

# 5️⃣ ffmpeg 설치 (Ubuntu 예시)
sudo apt-get update && sudo apt-get install -y ffmpeg

# 6️⃣ 모델 체크포인트 다운로드 (필요 시 HF 토큰 지정)
export HF_ENDPOINT=https://hf-mirror.com   # 중국 본토용 옵션
pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B
huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar

---

추론 실행

멀티 GPU 스트리밍 (권장: 최고 속도)

bash infinite_inference_multi_gpu.sh   # CLI 버전
# 또는
bash gradio_multi_gpu.sh               # Gradio UI 시작

최소 5개의 GPU(각각 80GB 이상 VRAM) 필요.

싱글 GPU (오프라인) 생성

bash infinite_inference_single_gpu.sh   # CLI 버전
# 또는
bash gradio_single_gpu.sh               # Gradio UI

단일 80GB GPU에서 작동 가능; OOM 방지를 위해 size를 낮출 필요가 있을 수 있음.

중요 플래그

• ENABLE_COMPILE=true – JIT 컴파일 활성화. 첫 실행은 느리지만 이후 실행은 매우 빨라짐(장시간 스트림에 필수).
• ENABLE_FP8=true – FP8 양자화로 전환하여 VRAM 사용량을 줄여 48GB GPU에서도 작동 가능(품질은 약간 저하).
• --num_clip N – 빠른 미리보기를 위해 N개의 짧은 클립 생성.
• --enable_online_decode false – 싱글 GPU 실행 시 온라인 디코딩 비활성화로 CPU-GPU 트래픽 감소(매우 긴 영상에서는 품질에 약간 영향).

---

리포지토리에 포함된 내용

• 추론 스크립트 (infinite_inference_*.sh, gradio_*.sh) : TPP(Temporal-Parallel-Pipeline) 설정 및 생성 시작.
• requirements.txt : 저자들이 사용한 정확한 Python 패키지 버전 목록.
• 모델 체크포인트 : Hugging Face에 호스팅. 리포지토리는 다운로드 헬퍼만 포함.
• 데모 페이지 (https://liveavatar.github.io/) : 인간-AI 대화, 무한 영상 루프, 캐릭터 다양성 시연.
• 인용 정보 및 라이선스(Apache 2.0).

---

로드맵 (리포지토리에 기재됨)

• ✅ 멀티 GPU 실시간 스트리밍 (이미 릴리스됨)
• ✅ 싱글 GPU 오프라인 추론
• ✅ FP8 양자화 및 컴파일 속도 향상
• ⬜ UI 통합으로 스트리밍 상호작용 간편화
• ⬜ 텍스트-음성(TTS) 연계
• ⬜ 완전한 학습 파이프라인 (미래 릴리스 예정)
• ⬜ 추가 모델 최적화 (RoPE, LoRA 병합, 스트리밍-VAE 통합)

---

라이선스 및 감사

• 코드 및 대부분의 자산은 Apache 2.0.
• 기반 확산 모델(WanS2V-14B)도 Apache 2.0.
• 관련 연구인 CausVid, LongLive, WanS2V 에 감사.

---

누구에게 적합한가?

• 연구자: 음성 주도 영상 합성, 스트리밍 확산, 저지연 생성 AI 탐구.
• 개발자: 가상 어시스턴트, 라이브 스트리밍, 메타버스 경험용 인터랙티브 아바타 개발.
• 아티스트: 음성 녹음에서 캐릭터를 실시간으로 애니메이션화할 수 있는 제어 가능한 도구 필요.

---

결론

Live Avatar는 확산 기반 동영상 모델이 현대 GPU 클러스터에서 실시간, 블록 단위, 무한히 작동할 수 있음을 입증하며, 라이브 AI 주도 아바타 경험의 문을 열었습니다.