78/xiaozhi-esp32

解決的問題

XiaoZhi 是一個用於在 ESP32 硬體上建構 AI 驅動語音聊天機器人的開源框架。它彌合了低功耗嵌入式裝置與 Qwen、DeepSeek 等強大大型語言模型（LLM）之間的差距，實現即時語音互動與硬體控制。

工作原理

本專案為多種 ESP32 芯片平台（S3、C3、C5、C6、P4）提供固件，透過 WebSocket 或混合 MQTT+UDP 協定連接後端伺服器。使用 ESP-SR 實現離線喚醒詞偵測，透過 Opus 音訊串流實現高品質語音互動。系統整合 Model Context Protocol (MCP)，使 AI 能夠控制本地裝置硬體（LED、舵機、GPIO）並存取雲端功能，如智慧家居控制或知識搜尋。

適用對象

• 硬體愛好者與 DIY 愛好者：希望打造自己的 AI 語音助理或機器狗的人。
• 開發者：希望在嵌入式系統中整合 LLM，使用 ESP32 生態系統的開發者。
• 產品設計師：正在為 AI 驅動的 IoT 裝置進行原型設計的人。

核心亮點

• 廣泛的硬體支援：相容超過 170 個發行變體與 138 個板卡目錄，包含 M5Stack 和 Espressif ESP-BOX。
• MCP 整合：使用 Model Context Protocol 實現裝置端與雲端工具的使用與控制。
• 多模態輸入：支援攝影機視覺輸入與語音辨識，可區分不同使用者。
• 彈性網路連接：支援 Wi-Fi、有線乙太網、USB RNDIS 與 4G 網路。
• 即時互動：在支援 AEC 的硬體上，使用即時端對端語音模型實現全雙工互動。
• 可自訂：提供基於 Web 的產生器，可自訂喚醒詞、字型與表情符號。