joey-zhou/xiaozhi-esp32-server-java

解决的问题

Xiaozhi ESP32 Server Java 为基于 ESP32 的智能硬件设备提供专业、企业级的后端服务。它弥合了简单硬件原型与可扩展系统之间的差距，该系统能够管理多个设备、集成多种 AI 模型，并处理实时语音交互。

工作原理

该项目采用双进程架构来分离职责：

• 管理服务器（xiaozhi-server）：处理管理任务、REST API、用户/设备管理以及 OTA（空中更新）。
• 对话服务器（xiaozhi-dialogue）：管理实时 AI 流水线，包括用于音频流的 WebSocket/MQTT 通信、语音识别（STT）、大语言模型（LLM）和文本转语音（TTS）。

它与多种 AI 平台（如 OpenAI、Ollama、Dify 等）集成，并使用 Qdrant 实现向量检索以支持 RAG 功能。系统支持本地和云端语音处理，并实现了多设备“最近响应”逻辑，确保当多个设备在同一空间被触发时，仅有一个设备进行响应。

适用人群

• 拥有 ESP32 硬件并需要全面管理平台的用户。
• 寻找稳定、可扩展的 AI 驱动语音助手后端的开发者。
• 需要支持高并发设备连接的组织。

核心亮点

• 全面的 AI 集成：支持多个 LLM 提供商和 MCP 工具协议，以扩展功能。
• 先进的语音流水线：支持实时流式交互、语音克隆和智能打断处理。
• 个性化体验：包含语音识别功能，可识别家庭成员并为每位用户维护独立记忆。
• 记忆系统：实现 RAG 知识库和长期记忆图谱，以跨会话记住用户偏好。
• IoT 控制：通过函数调用实现语音驱动的智能家居控制。
• 企业级工具：提供完整的链路监控（包括令牌、延迟和设备活动），支持一键 Docker 部署。