KoljaB/RealtimeVoiceChat
Have a natural, spoken conversation with AI!
解决的问题
该项目提供了一种与AI进行自然、口语化、实时对话的方式。它通过捕捉你的语音,经过AI模型处理,并流式返回语音响应,消除了打字的需要,从而实现流畅、互动的对话。
工作原理
该系统采用客户端-服务器架构。你的浏览器捕获音频并通过WebSockets发送到Python后端。后端使用语音转文字来转录你的话语,将文本发送给LLM(如Ollama或OpenAI)生成响应,然后使用文字转语音将响应转换回音频。系统设计为处理中断,允许你像与真人对话一样打断AI。
适用人群
适用于想要构建或试验语音AI界面的用户。最适合熟悉技术设置的用户,特别是拥有NVIDIA GPU的用户,因为系统依赖重型机器学习模型进行语音处理和文本生成。
亮点
- 流畅、实时的对话,具有动态轮流发言和静音检测功能。
- 可插拔的AI后端,支持本地(Ollama)和云端(OpenAI)模型。
- 可定制的语音合成,支持多种引擎,如Kokoro、Coqui和Orpheus。
- 使用WebSockets进行音频块流式传输的低延迟架构。
- 使用标准浏览器音频API的简单基于Web的界面。
- 通过Docker Compose进行容器化部署,便于依赖管理。
相关
- 项目
- 项目
- 项目
- 项目