lipku/LiveTalking

解決する課題

LiveTalkingは、デジタルヒューマンのためのリアルタイム対話型ストリーミングエンジンです。仮想アバターがテキストや音声入力に基づいてリアルタイムに話すことができる、リアルで同期された視聴覚対話インターフェースを作成するという課題を解決し、AIカスタマーサービス、仮想ライブ配信、自動化された教育コンテンツなどのアプリケーションを可能にします。

仕組み

システムはパイプラインに従います：ユーザー入力（テキスト/音声）$\rightarrow$ LLMによる応答生成 $\rightarrow$ TTSによる音声合成 $\rightarrow$ デジタルヒューマンのリップシンク $\rightarrow$ ストリーミング出力。Wav2Lip、MuseTalk、ER-NeRFなどの深層学習モデルを使用して、オーディオ特徴（メルスペクトログラムなど）に一致する唇の動きを生成し、これらの動きを高解像度ビデオにブレンドします。

対象ユーザー

• コンテンツクリエイター：24時間365日の無人ライブ配信や大量のショートビデオ制作に。
• 企業：AI駆動のカスタマーサービスやインタラクティブな展示ディスプレイに。
• 教育者：リアルタイムまたは録画された指導のためのデジタル教師クローンを作成するために。
• 開発者：デジタルヒューマンをアプリやスマートスピーカーに統合するためのAPI駆動フレームワークを必要とする人。

ハイライト

• マルチモデルサポート：ernerf、musetalk、wav2lip、Ultralight-Digital-Humanと互換性があります。
• 柔軟な出力：低遅延ブラウザストリーミング用のWebRTC、YouTube/Bilibiliなどのプラットフォーム用のRTMP、仮想カメラ出力をサポートします。
• インタラクティブ機能：音声クローン、話している途中での割り込み、カスタムアクションオーケストレーション（無音時に特定のビデオを再生する）をサポートします。
• 拡張可能なアーキテクチャ：カスタムTTS、Avatar、Outputモジュールを追加するための分散レジストリシステムを備えています。