ardha27/AI-Waifu-Vtuber

解決的問題

本專案創建了一個互動式 AI 虛擬 YouTuber (VTuber)，可以與使用者或 Twitch 觀眾進行即時對話。它實現了從聽到聲音、生成符合角色設定的回答，到透過虛擬形象說出回答的自動化流程。

工作原理

該系統整合了多種 AI 服務以建立一個無縫循環：

1. Speech-to-Text: 使用 OpenAI Whisper 將語音音訊轉錄為文本。
2. Brain: 使用 OpenAI 的 LLM 根據可自定義的角色身份/背景檔案生成回答。
3. Translation: 可選使用 DeepL 或 Google Translate 將回答轉換為目標語言（例如：日語）。
4. Text-to-Speech: 使用 VoiceVox（用於日語）或 Silero TTS（用於包括英語、俄語和西班牙語在內的多種語言）來生成語音。
5. Visuals: 透過虛擬音訊線連接到 VtubeStudio，根據音訊輸出驅動角色形象的動畫。
6. Twitch Integration: 可以讀取並回應 Twitch 聊天串流中的訊息。

適用對象

想要擁有一個 AI 驅動的虛擬人格來與觀眾互動或作為語音控制助手的內容創作者和實況主。

亮點

• 多語言支援: 相容於多種 TTS 引擎，提供全球語言選項。
• 角色定制: 允許使用者透過文本檔案定義 AI 的性格和背景設定。
• Twitch 聊天整合: 能夠在直播期間讀取並回答觀眾的問題。
• 形象同步: 旨在與 VtubeStudio 協同工作以實現視覺呈現。