Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
何を解決するか
SoulX-FlashTalk は、音声駆動のトークヘッドアバターのリアルタイムで無限にストリーミングするシステムを可能にします。音声入力から高品質なトークヘッドアニメーションを継続的に生成し、性能や品質の低下が生じないよう対処します。
動作方法
このプロジェクトは「自己修正型双方向蒸留（Self-Correcting Bidirectional Distillation）」と呼ばれる技術を用いてストリーミング機能を実現しています。InfiniteTalk や Wan といったベースモデルを基盤とし、DMD および Self-forcing++ からの蒸留技術を組み合わせて、リアルタイム性能を最適化しています。
対象ユーザー
このツールは、デジタル人間、仮想アバター、リアルタイムインタラクティブビデオシステムの開発者や研究者向けに設計されています。
主な特徴
- 無限ストリーミング: 継続的な音声駆動アバターアニメーションの生成が可能。
- リアルタイム性能: 高速推論を最適化しており、8xH800 などのマルチGPU環境を明示的にサポートし、最大の速度を実現。
- 大規模モデル: 高精細な出力を実現する 14B パラメータモデルを搭載。
- 柔軟なデプロイ: CPUオフロードを活用した単一GPU推論をサポートし、VRAM要件を低減。
関連
- プロジェクト
- プロジェクト
Alibaba-Quark/LiveAvatarLive Avatar is a research‑grade system that turns spoken audio (plus an optional reference image or text prompt) into a continuous, real‑time video of a talking avatar. Built on a 14 B diffusion backbone (WanS2V‑14B) with a LoRA fine‑tune, the authors achieve ~45 FPS streaming on multi‑GPU H800 hardware and can generate videos longer than 10 000 seconds via block‑wise autoregressive processing. The repo provides Conda‑based installation, multi‑GPU and single‑GPU inference scripts, optional FP8 quantisation and JIT compilation for speed, and a Gradio UI. Model weights are hosted on Hugging Face under Apache 2.0.
- プロジェクト
- プロジェクト
PunithVT/ai-avatar-systemA production-ready platform for creating photorealistic AI avatars with real-time lip-sync, zero-shot voice cloning, and multi-LLM support.
- プロジェクト