ardha27/AI-Waifu-Vtuber

解決する課題

このプロジェクトは、ユーザーやTwitchの視聴者とリアルタイムで会話ができる、インタラクティブなAIバーチャルYouTuber（VTuber）を作成します。音声を聞き取り、キャラクター設定に基づいた応答を生成し、その応答をバーチャルアバターを通じて話すという一連のプロセスを自動化します。

仕組み

システムは複数のAIサービスを統合し、シームレスなループを作成します：

1. Speech-to-Text: OpenAI Whisperを使用して、音声オーディオをテキストに書き起こします。
2. Brain: OpenAIのLLMを使用して、カスタマイズ可能なアイデンティティ/設定ファイルに基づいて応答を生成します。
3. Translation: 必要に応じてDeepLやGoogle Translateを使用して、応答をターゲット言語（例：日本語）に変換します。
4. Text-to-Speech: VoiceVox（日本語用）またはSilero TTS（英語、ロシア語、スペイン語を含む多言語用）を使用して音声を生成します。
5. Visuals: 仮想オーディオケーブルを介してVtubeStudioに接続し、音声出力に基づいてキャラクターアバターをアニメーション化します。
6. Twitch Integration: Twitchのチャットストリームからメッセージを読み取り、応答することができます。

対象者

視聴者と交流したり、音声制御のアシスタントとして機能したりするAI駆動のバーチャルペルソナを求めているコンテンツクリエイターやストリーマー。

ハイライト

• 多言語サポート: グローバルな言語オプションのために、さまざまなTTSエンジンに対応しています。
• キャラクターのカスタマイズ: テキストファイルを通じてAIの性格や設定を定義できます。
• Twitchチャット統合: ライブ配信中に視聴者のメッセージを読み取り、回答することができます。
• アバター同期: 視覚的な表現のためにVtubeStudioと連携するように設計されています。