Francis-Rings/StableAvatar

StableAvatar – 무한 길이 오디오 기반 아바타 비디오 생성

이것은 무엇인가

• 단일 참조 이미지와 오디오 트랙에서 말하는 헤드/아바타 비디오를 생성하는 연구급 비디오 확산 모델.
• 이전 오디오 기반 생성기와 달리 StableAvatar는 무제한 비디오 길이를 생성하면서 피사체의 정체성과 립싱크를 정확하게 유지하며, 사후 처리(페이스 스왑 또는 복원 단계)가 필요 없습니다.

주요 기술 아이디어

구성 요소	목적
시간 단계 인식 오디오 어댑터	각 확산 시간 단계에서 오디오 임베딩을 변조하여 긴 클립 생성을 일반적으로 깨뜨리는 잠재 드리프트를 방지합니다.
오디오 네이티브 가이던스	모델 자체의 진화하는 오디오 잠재 예측을 동적 가이드로 사용하여 추론 중 립싱크를 강화합니다.
동적 가중 슬라이딩 윈도우	연속 생성 창을 겹치고 잠재 변수를 혼합하여 임의 길이의 비디오 전체에서 부드러운 전환을 제공합니다.
비디오 확산 트랜스포머(DiT) 백본	혼합 해상도 말하는 얼굴 데이터 세트(512×512, 480×832, 832×480)에서 훈련된 1.3B 파라미터 트랜스포머(Wan2.1).

이것으로 무엇을 할 수 있나

• 모든 초상화 이미지와 음성/오디오 파일에서 세 가지 해상도(512×512, 480×832, 832×480)로 무한 아바타 클립을 생성합니다.
• 사용자 지정 정체성이나 스타일을 위해 모델을 미세 조정하거나 LoRA 어댑터를 훈련할 수 있습니다(훈련 스크립트와 LoRA 코드 제공).
• 단일 GPU(CPU 오프로드로 약 3GB 메모리)에서 추론을 실행하거나 제공된 multiple_gpu_inference.sh 스크립트를 사용하여 다중 GPU 설정으로 확장할 수 있습니다.
• 대화형 데모를 위해 모델을 Gradio, ComfyUI 또는 Hugging Face Spaces에 통합할 수 있습니다.

빠른 시작 요약

1. 설치 정확한 PyTorch 2.6(Blackwell GPU의 경우 2.7) 및 requirements.txt의 기타 종속성.
2. 다운로드 Hugging Face 저장소(FrancisRing/StableAvatar)에서 체크포인트를 가져옵니다.
3. 준비 오디오 파일(선택적으로 audio-separator[gpu]로 보컬 분리).
4. 실행 bash inference.sh(또는 Gradio UI용 python app.py). --width, --height, --sample_steps, --overlap_window_length 및 가이던스 스케일을 조정하여 품질과 속도의 균형을 맞춥니다.
5. 결합 소리가 있는 MP4가 필요한 경우 ffmpeg를 사용하여 무음 출력 비디오와 원본 오디오를 결합합니다.

훈련 데이터 레이아웃

• 저장소는 세 가지 해상도 분기(square, vec, rec)가 있는 talking_face_data/ 폴더를 기대합니다.
• 각 분기에는 speech, singing, dancing 하위 폴더가 포함됩니다. 내부에는 sub_clip.mp4, audio.wav, images/, face_masks/, lip_masks/가 포함된 클립별 디렉토리가 있습니다.
• 프레임, 보컬 트랙, 얼굴 마스크(동반 StableAnimator 저장소를 통해), 입술 마스크(mediapipe)를 추출하는 스크립트가 제공됩니다.

하드웨어 참고 사항

• 기본 추론은 sequential_cpu_offload를 사용하여 약 3GB GPU 메모리에 맞습니다.
• 더 빠른 생성을 위해 flash_attn을 설치할 수 있습니다.
• 다중 GPU 추론은 --ulysses_degree × --ring_degree 체계를 사용합니다. --fsdp_dit로 FSDP를 활성화할 수 있습니다.

리소스

• 프로젝트 페이지, 논문(arXiv 2508.08248), Hugging Face 모델 허브, 데모 Space, YouTube/Bilibili 비디오.
• 코드는 저장소의 라이선스에 따라 오픈 소스입니다(LICENSE 참조).

누가 사용할까

• 장편 오디오 기반 비디오 합성을 탐구하는 연구자.
• 가상 발표자, 게임 또는 교육용으로 고충실도 말하는 헤드 아바타가 필요한 크리에이터.
• 플러그 앤 플레이 아바타 생성기가 필요한 UI 도구(Gradio, ComfyUI)를 개발하는 개발자.