garycaogan/ai-live-avatar

これは何か

ai-live-avatar は、AI生成のデジタルヒューマンが自身のライブ配信をホストできる、実際に実行可能なプロジェクトです。視聴者はチャットメッセージ（弾幕）を送信し、AIアバターはリアルタイムで返信、衣装変更、またはジェスチャーを実行します——すべて Vidu S2リアルタイムデジタルヒューマン サービスによってレンダリングされます。このリポジトリはそれを可能にする「ミドルレイヤー」です：受信コメントをフィルタリングしてスケジュールし、アバターのペルソナとワードローブを管理し、ストリームオーバーレイをレンダリングし、ローカルコントロールワークベンチを提供し、OBSまたは直接配信に出力します。

仕組み

• Vidu S2 はアバターのビジュアル、音声、音声返信を生成します。このプロジェクトはアバター自体をトレーニングまたはレンダリングしません——ViduのAPIをオーケストレーションします。
• コメントパイプライン：受信した弾幕はフィルター（moderation.jsonのブロックリスト）を通過し、ルールベースのルーター（live/router.py）が各メッセージをチャット、衣装変更、小道具、背景、アクション、または復元に分類します。ルーターはLLMを使用しません——高速で無料です。
• キューイング：コメントはキューに入れられ、アバターが1つの返信を終えてから次の返信を処理します。ギフトはキューをジャンプしません。
• ワードローブ：各衣装は完全な写真です（ベース画像と同じ部屋、照明、構図）。衣装を変更すると、新しい写真でViduセッションが再起動され、約6秒かかります。
• アクション：キーワードが小さなジェスチャー（ハート、手を振る、まばたき）をトリガーします。アイドル時の雑談はペルソナ定義のトピックプールから来ます。
• オーバーレイと配信：ステージページはアバターフィード、透明オーバーレイレイヤー、情報カードを提供します。出力はOBS（ブラウザソースまたはWebSocketコントロール経由）または直接RTMP配信に送られます。

必要なもの

• macOS/Linux、Python 3.11+、libx264とaacを備えたffmpeg
• Vidu APIキー（有料；公式レートで約169元/時間）
• オプション：キャラクター画像/衣装/背景の生成と音声クローンのためのEvolink APIキー；OBS 30+；YouTubeストリームキー
• 独自のキャラクターアセット——作者の画像、音声、ペルソナは含まれていません（gitignored）

始め方

1. クローンし、venvを作成し、依存関係をインストールし、Alibaba Cloud RTCベンダーSDKを取得し、config.example.jsonをconfig.jsonにコピーします。
2. APIキーを~/.deepsea/に制限付き権限で保存します。
3. python server.pyを実行します；http://127.0.0.1:28900/workbenchを開いてワークベンチにアクセスします。
4. キャラクターを作成します：ベース画像をアップロードし、ペルソナとオープニングラインを書き、衣装を追加し、音声を選択/クローンし、アクションキーワードを設定します。
5. OBSを接続します（ブラウザソースURLが提供されます）または直接配信します。モックモード（tests/dev_mock_stack.py）を使用すると、Viduクレジットを消費せずに完全なフローをテストできます。

注目すべき設計上の決定

• 背景/小道具の変更はデフォルトで無効：テスト中、ストリーム中の視覚編集によりアバターの服が歪みました。config.jsonで有効にできますが、作者は公開ストリームでの使用を警告しています。
• 自動回復：Viduがストリーム中に切断された場合、サーバーは3秒後にセッションを再起動できます（最大6回/時間）。ただし、切断がクレジット不足またはコンテンツモデレーションによる場合は除きます。
• 弾幕ソース：提供されたブリッジスクリプトを介したYouTubeチャット；中国のプラットフォームは公式のライブインタラクションAPI（ウェブスクレイピングではない）を必要とします。プロジェクトには抖音統合は含まれていません。
• コンプライアンス：オーバーレイは「AIリアルタイム生成」ラベルを恒久的に表示します。これはAIアバターストリームのプラットフォームルールで要求されます。

結論

これは、リアルタイムチャットインタラクション、衣装変更、ジェスチャーを備えたAIホストのライブ配信を実行するための、機能的なMITライセンスのツールです——デモやチュートリアルではありません。実用的ですが、有料のAPIクレジット、独自のキャラクターアセット、およびある程度のセットアップ作業が必要です。