Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
解决的问题
SoulX-FlashTalk 实现了音视频驱动的虚拟人头像的实时无限流式传输。它解决了从音频输入生成高质量连续对话头像动画的挑战，确保在长时间运行中性能和质量不会下降。
工作原理
该项目采用一种名为「自校正双向蒸馏」的技术来实现其流式传输能力。它基于 InfiniteTalk 和 Wan 等基础模型，并融合了 DMD 和 Self-forcing++ 的蒸馏技术，以优化生成过程，实现实时性能。
适用人群
本工具专为从事数字人、虚拟化身和实时交互视频系统开发与研究的开发者和研究人员设计。
核心亮点
- 无限流式传输：能够生成连续的音视频驱动的头像动画。
- 实时性能：针对高速推理进行了优化，明确支持多GPU配置（如 8xH800）以实现最大速度。
- 大模型规模：采用 14B 参数模型，实现高保真输出。
- 灵活部署：支持单GPU推理并结合CPU卸载，显著降低显存（VRAM）需求。
相关
- 项目
lipku/LiveTalkingA real-time interactive streaming engine for digital humans that synchronizes audio and video for lifelike AI-driven conversations.
- 项目
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- 项目
- 项目
PunithVT/ai-avatar-systemA production-ready platform for creating photorealistic AI avatars with real-time lip-sync, zero-shot voice cloning, and multi-LLM support.
- 项目