Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
解決的問題
SoulX-FlashTalk 實現了音訊驅動的虛擬人頭像的即時無限串流。它解決了從音訊輸入生成高品質連續對話頭像動畫的挑戰，確保長時間運行時性能與品質不會下降。
工作原理
本專案採用稱為「自校正雙向蒸餾」的技術來實現其串流功能。它基於 InfiniteTalk 和 Wan 等基礎模型，並融合 DMD 與 Self-forcing++ 的蒸餾技術，以優化生成過程，達成即時性能。
適用對象
此工具專為從事數位人類、虛擬化身與即時互動影像系統開發與研究的開發者與研究人員設計。
核心亮點
- 無限串流：能夠生成連續的音訊驅動頭像動畫。
- 即時性能：針對高速推論進行優化，明確支援多GPU設定（例如 8xH800）以達成最大速度。
- 大模型規模：採用 14B 參數模型，實現高保真輸出。
- 彈性部署：支援單GPU推論並結合CPU卸載，大幅降低顯存（VRAM）需求。
相關
- 專案
lipku/LiveTalkingA real-time interactive streaming engine for digital humans that synchronizes audio and video for lifelike AI-driven conversations.
- 專案
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- 專案
- 專案
PunithVT/ai-avatar-systemA production-ready platform for creating photorealistic AI avatars with real-time lip-sync, zero-shot voice cloning, and multi-LLM support.
- 專案