78/xiaozhi-esp32

解决的问题

XiaoZhi 是一个用于在 ESP32 硬件上构建 AI 驱动语音聊天机器人的开源框架。它弥合了低功耗嵌入式设备与 Qwen、DeepSeek 等强大大语言模型（LLM）之间的差距，实现了实时语音交互和硬件控制。

工作原理

该项目为多种 ESP32 芯片平台（S3、C3、C5、C6、P4）提供固件，通过 WebSocket 或混合 MQTT+UDP 协议连接后端服务器。使用 ESP-SR 实现离线唤醒词检测，通过 Opus 音频流实现高质量语音交互。系统集成 Model Context Protocol (MCP)，使 AI 能够控制本地设备硬件（LED、舵机、GPIO）并访问云端功能，如智能家居控制或知识搜索。

适用人群

• 硬件爱好者和 DIY 爱好者：希望打造自己的 AI 语音助手或机器狗的人。
• 开发者：希望在嵌入式系统中集成 LLM 的开发者，使用 ESP32 生态系统。
• 产品设计师：正在为 AI 驱动的 IoT 设备进行原型设计的人。

核心亮点

• 广泛的硬件支持：兼容超过 170 个发布变体和 138 个板卡目录，包括 M5Stack 和 Espressif ESP-BOX。
• MCP 集成：使用 Model Context Protocol 实现设备端和云端工具的使用与控制。
• 多模态输入：支持摄像头视觉输入和说话人识别，可区分不同用户。
• 灵活的网络连接：支持 Wi-Fi、有线以太网、USB RNDIS 和 4G 网络。
• 实时交互：在支持 AEC 的硬件上，使用实时端到端语音模型实现全双工交互。
• 可自定义：提供基于 Web 的生成器，用于自定义唤醒词、字体和表情符号。