Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
해결하는 문제
SoulX-FlashTalk은 음성 기반 대화형 아바타의 실시간 무한 스트리밍을 가능하게 합니다. 성능이나 품질 저하 없이 지속적으로 고품질의 대화 헤드 애니메이션을 생성하는 문제를 해결합니다.
작동 방식
이 프로젝트는 '자기 수정형 양방향 증류(Self-Correcting Bidirectional Distillation)' 기술을 사용하여 스트리밍 기능을 구현합니다. InfiniteTalk 및 Wan과 같은 기본 모델을 기반으로 하며, DMD 및 Self-forcing++의 증류 기법을 통합하여 실시간 성능을 최적화합니다.
대상 사용자
이 도구는 디지털 인간, 가상 아바타, 실시간 상호작용 영상 시스템을 개발하거나 연구하는 개발자 및 연구자들을 위한 것입니다.
주요 특징
- 무한 스트리밍: 지속적인 음성 기반 아바타 애니메이션 생성이 가능합니다.
- 실시간 성능: 고속 추론을 최적화하였으며, 8xH800과 같은 멀티 GPU 환경을 명시적으로 지원하여 최대 속도를 제공합니다.
- 대규모 모델 규모: 고해상도 출력을 위한 14B 파라미터 모델을 제공합니다.
- 유연한 배포: CPU 오프로딩을 활용한 단일 GPU 추론을 지원하여 VRAM 요구량을 줄입니다.
관련
- 프로젝트
lipku/LiveTalkingA real-time interactive streaming engine for digital humans that synchronizes audio and video for lifelike AI-driven conversations.
- 프로젝트
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- 프로젝트
- 프로젝트
PunithVT/ai-avatar-systemA production-ready platform for creating photorealistic AI avatars with real-time lip-sync, zero-shot voice cloning, and multi-LLM support.
- 프로젝트