bigsk1/voice-chat-ai

它解决了什么问题

Voice Chat AI 提供了一种与AI角色进行自然口语对话的方式。它通过将语音转文字（STT）、大语言模型（LLMs）和文字转语音（TTS）整合到单一界面中，消除了打字的障碍，使用户能够与不同个性的角色互动，或参与互动游戏和故事。

它如何工作

该系统充当多个AI服务之间的协调器。它捕获用户音频，使用OpenAI或本地Faster Whisper进行语音转写，将文本通过选定的LLM（如OpenAI、xAI、Anthropic或Ollama）处理，然后使用TTS提供者（如ElevenLabs、Spark-TTS、Kokoro或OpenAI）合成语音回复。它还支持OpenAI的WebRTC实时API，实现即时、可中断的对话，并包含情感分析功能，可根据用户情绪调整AI回复。

适合谁

专为希望获得沉浸式AI伴侣体验的用户、角色扮演者以及希望尝试混合本地和云端AI模型进行语音交互的开发者设计。

主要特点

• 多服务商支持：可自由组合LLM（OpenAI、xAI、Anthropic、Ollama）和TTS引擎（ElevenLabs、Kokoro、Spark-TTS等）。
• 实时交互：支持OpenAI的实时API，实现低延迟、可中断的语音对话。
• 本地运行：可选择使用Ollama和本地TTS模型在本地运行全部功能，确保隐私并降低使用成本。
• 角色驱动：内置大量角色，并提供专门用于互动游戏和叙事的模式。
• 视觉感知：可通过特定语音命令，利用LLaVA或OpenAI分析用户的屏幕。
• 灵活部署：可通过Web UI、终端或Docker使用。

一个真正让AI角色“开口说话”的工具——不再只是文字，而是声音与情感的交流。— @handle