Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
해결하는 문제
SoulX-FlashTalk은 음성 기반 대화형 아바타의 실시간 무한 스트리밍을 가능하게 합니다. 성능이나 품질 저하 없이 지속적으로 고품질의 대화 헤드 애니메이션을 생성하는 문제를 해결합니다.
작동 방식
이 프로젝트는 '자기 수정형 양방향 증류(Self-Correcting Bidirectional Distillation)' 기술을 사용하여 스트리밍 기능을 구현합니다. InfiniteTalk 및 Wan과 같은 기본 모델을 기반으로 하며, DMD 및 Self-forcing++의 증류 기법을 통합하여 실시간 성능을 최적화합니다.
대상 사용자
이 도구는 디지털 인간, 가상 아바타, 실시간 상호작용 영상 시스템을 개발하거나 연구하는 개발자 및 연구자들을 위한 것입니다.
주요 특징
- 무한 스트리밍: 지속적인 음성 기반 아바타 애니메이션 생성이 가능합니다.
- 실시간 성능: 고속 추론을 최적화하였으며, 8xH800과 같은 멀티 GPU 환경을 명시적으로 지원하여 최대 속도를 제공합니다.
- 대규모 모델 규모: 고해상도 출력을 위한 14B 파라미터 모델을 제공합니다.
- 유연한 배포: CPU 오프로딩을 활용한 단일 GPU 추론을 지원하여 VRAM 요구량을 줄입니다.
관련
- 프로젝트
- 프로젝트
Alibaba-Quark/LiveAvatarLive Avatar는 음성(옵션으로 참조 이미지 또는 텍스트 프롬프트)을 입력으로 받아 지속적이고 실시간 영상 아바타를 생성하는 연구 수준 시스템입니다. 140억 파라미터 확산 백본(WanS2V-14B)에 LoRA 미세조정을 적용하여 멀티 GPU H800 환경에서 약 45 FPS 스트리밍을 달성하고, 블록 단위 자기회귀 처리로 10,000초 이상의 영상 생성이 가능합니다. Conda 기반 설치, 멀티 GPU 및 싱글 GPU 추론 스크립트, 선택적 FP8 양자화 및 JIT 컴파일을 통한 속도 향상, Gradio UI를 제공하며, 모델 가중치는 Hugging Face에서 Apache 2.0 라이선스로 공개됩니다.
- 프로젝트
- 프로젝트
PunithVT/ai-avatar-systemAvatarAI는 어떤 포트레이트 사진과 짧은 음성 샘플을 실시간으로 입모양이 동기화된 대화 가능한 아바타로 변환할 수 있는 오픈소스이며 프로덕션 준비 완료된 시스템입니다. Whisper로 변환된 음성 텍스트를 선택 가능한 LLM(Claude, GPT-4o, 또는 로컬 Ollama/vLLM)에 스트리밍하고, 생성된 텍스트를 다국어 TTS(Chatterbox/XTTS)에 전달한 후 MuseTalk V1.5로 비디오 프레임을 렌더링합니다. Next.js 프론트엔드, FastAPI 백엔드, PostgreSQL, Redis, Celery, Prometheus, Docker-Compose를 스택에 포함하며, 원클릭 AWS GPU 배포도 가능합니다. 제로샷 음성 클론, 바지인 중단, 다중 LLM 지원, JWT 인증, 대화 메모리 요약, GFPGAN을 통한 얼굴 복원 등의 기능을 갖추고 있습니다.
- 프로젝트