Soul-AILab/SoulX-FlashTalk
SoulX-FlashTalk is the first 14B model to achieve sub-second start-up latency (0.87s) while maintaining a real-time throughput of 32 FPS on an 8xH800 node.
何を解決するか
SoulX-FlashTalk は、音声駆動のトークヘッドアバターのリアルタイムで無限にストリーミングするシステムを可能にします。音声入力から高品質なトークヘッドアニメーションを継続的に生成し、性能や品質の低下が生じないよう対処します。
動作方法
このプロジェクトは「自己修正型双方向蒸留（Self-Correcting Bidirectional Distillation）」と呼ばれる技術を用いてストリーミング機能を実現しています。InfiniteTalk や Wan といったベースモデルを基盤とし、DMD および Self-forcing++ からの蒸留技術を組み合わせて、リアルタイム性能を最適化しています。
対象ユーザー
このツールは、デジタル人間、仮想アバター、リアルタイムインタラクティブビデオシステムの開発者や研究者向けに設計されています。
主な特徴
- 無限ストリーミング: 継続的な音声駆動アバターアニメーションの生成が可能。
- リアルタイム性能: 高速推論を最適化しており、8xH800 などのマルチGPU環境を明示的にサポートし、最大の速度を実現。
- 大規模モデル: 高精細な出力を実現する 14B パラメータモデルを搭載。
- 柔軟なデプロイ: CPUオフロードを活用した単一GPU推論をサポートし、VRAM要件を低減。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト