ardha27/AI-Waifu-Vtuber

解决的问题

本项目创建了一个交互式 AI 虚拟 YouTuber (VTuber)，可以与用户或 Twitch 观众进行实时对话。它实现了从听到声音、生成符合角色设定的回答，到通过虚拟形象说出回答的自动化流程。

工作原理

该系统集成了多种 AI 服务以创建一个无缝循环：

1. Speech-to-Text: 使用 OpenAI Whisper 将语音音频转录为文本。
2. Brain: 使用 OpenAI 的 LLM 根据可定制的角色身份/背景文件生成回答。
3. Translation: 可选使用 DeepL 或 Google Translate 将回答转换为目标语言（例如：日语）。
4. Text-to-Speech: 使用 VoiceVox（用于日语）或 Silero TTS（用于包括英语、俄语和西班牙语在内的多种语言）来生成语音。
5. Visuals: 通过虚拟音频线连接到 VtubeStudio，根据音频输出驱动角色形象的动画。
6. Twitch Integration: 可以读取并响应 Twitch 聊天流中的消息。

适用对象

想要拥有一个 AI 驱动的虚拟人格来与观众互动或作为语音控制助手的内容创作者和主播。

亮点

• 多语言支持: 兼容多种 TTS 引擎，提供全球语言选项。
• 角色定制: 允许用户通过文本文件定义 AI 的性格和背景设定。
• Twitch 聊天集成: 能够在直播期间读取并回答观众的问题。
• 形象同步: 旨在与 VtubeStudio 协同工作以实现视觉呈现。