bigsk1/voice-chat-ai

解决的问题

Voice Chat AI 提供了一个统一接口，用于与各种AI模型进行实时语音对话。它消除了在不同聊天、语音和转录提供商之间切换的麻烦，允许用户通过基于Web的界面或终端与AI角色互动。

工作原理

该项目作为一个中间层，将用户的麦克风和扬声器连接到选定的AI后端。它支持多种语言模型（OpenAI、xAI、Anthropic、Ollama）和各种文本转语音（TTS）引擎（ElevenLabs、Kokoro、Spark-TTS等）。它管理音频输入，执行语音转文本转录（使用OpenAI或本地Faster Whisper），通过选定的LLM处理文本，并将响应合成为音频。它还包括情感分析功能以调整响应，并支持通过视觉能力模型进行屏幕分析。

适用人群

该项目面向开发者和爱好者，他们希望构建或试验自定义的语音AI代理、交互式故事讲述或基于语音的游戏，而无需从头构建整个音频处理管道。

亮点

• 使用OpenAI基于WebRTC的Realtime API支持实时、可中断的对话。
• 提供灵活、模块化的配置，可混合搭配不同的LLM和TTS提供商。
• 内置对交互式游戏、故事模式和情感感知响应的支持。
• 提供本地、离线可用的转录（Faster Whisper）和语音合成（Kokoro、Spark-TTS）选项。
• 具有屏幕分析功能，允许AI描述它在桌面上看到的内容。