joey-zhou/xiaozhi-esp32-server-java

解決的問題

本專案為基於 ESP32 的智慧硬體裝置提供了一個企業級的 Java 後端與管理平台。它彌補了低功耗硬體與複雜 AI 功能之間的差距，提供了一種可擴展的方式來管理裝置並處理即時語音互動。

運作方式

系統採用雙進程架構，包含用於 REST API 與裝置管理的管理伺服器 (xiaozhi-server)，以及透過 WebSocket 和 MQTT 處理即時音訊流的對話服務 (xiaozhi-dialogue)。它整合了多個 AI 平台以提供 LLM、STT (語音轉文字) 和 TTS (文字轉語音) 功能，實現了完整的語音到語音流程。

適用對象

• 擁有 ESP32 硬體且需要穩健管理平台的使用者。
• 正在為 AI 驅動的 IoT 裝置尋找企業級可擴展後端的開發者。
• 希望快速部署語音助理伺服器的個人。

亮點

• 多 AI 整合：支援 OpenAI、Zhipu、Xunfei、Ollama、Dify 和 Coze。
• 完整語音流程：支援本地與雲端 STT/TTS，具備語音複製與即時打斷支援。
• IoT 控制：透過 Function Calling 實現語音指令裝置控制與多裝置協同。
• RAG 知識庫：包含文件上傳與智慧檢索，以實現長期記憶。
• 可擴展架構：獨立的管理與對話進程允許分別進行水平擴展。
• 全面監控：視覺化 Token 使用量、延遲與裝置活動狀態。