joey-zhou/xiaozhi-esp32-server-java

解决的问题

本项目为基于 ESP32 的智能硬件设备提供了一个企业级的 Java 后端和管理平台。它弥合了低功耗硬件与复杂 AI 功能之间的差距，提供了一种可扩展的方式来管理设备并处理实时语音交互。

工作原理

系统采用双进程架构，包含用于 REST API 和设备管理的管理服务器 (xiaozhi-server)，以及通过 WebSocket 和 MQTT 处理实时音频流的对话服务 (xiaozhi-dialogue)。它集成了多个 AI 平台以提供 LLM、STT (语音转文字) 和 TTS (文字转语音) 功能，从而实现完整的语音到语音流水线。

适用人群

• 拥有 ESP32 硬件且需要稳健管理平台的用户。
• 正在为 AI 驱动的 IoT 设备寻找企业级可扩展后端的开发者。
• 希望快速部署语音助手服务器的个人。

亮点

• 多 AI 集成：支持 OpenAI、Zhipu、Xunfei、Ollama、Dify 和 Coze。
• 完整语音流水线：支持本地和云端 STT/TTS，具备语音克隆和实时打断支持。
• IoT 控制：通过 Function Calling 实现语音命令设备控制和多设备协同。
• RAG 知识库：包含文档上传和智能检索，以实现长期记忆。
• 可扩展架构：独立的管理和对话进程允许分别进行水平扩展。
• 全面监控：可视化 Token 使用量、延迟和设备活动状态。