78/xiaozhi-esp32

解决的问题

XiaoZhi 是一个为 ESP32 微控制器设计的开源 AI 聊天机器人框架，旨在将 Qwen、DeepSeek 等大语言模型（LLM）引入到物理硬件中。它解决了创建一个能够通过传感器、显示屏和 IoT 控制与物理世界交互的语音交互式 AI 助手的挑战。

工作原理

该系统使用 ESP32 系列芯片作为客户端，负责音频采集和播放。通过 WebSocket 或混合 MQTT+UDP 协议连接到后端服务器（官方或自托管）。整个流程包括：使用 ESP-SR 实现的离线语音唤醒，随后是流式 ASR（自动语音识别）、LLM 处理和 TTS（文本转语音）管道。同时实现了 Model Context Protocol（MCP），使 AI 能够控制硬件（如 LED、舵机、GPIO）并访问云端功能（如智能家居控制或知识搜索）。

适用人群

希望使用 ESP32 开发板（如 ESP32-S3、P4 或 M5Stack CoreS3）构建自己的 AI 驱动语音助手或机器人设备的硬件爱好者、DIY 爱好者和开发者。

主要亮点

• 广泛的硬件支持：支持超过 130 个板卡目录和 170 个以上不同 ESP32 芯片平台的发布变体。
• 多模态交互：集成摄像头视觉输入、支持表情符号的 OLED/LCD 显示屏以及说话人识别。
• 灵活的网络连接：支持 Wi-Fi、有线以太网、USB RNDIS 和 4G 网络。
• MCP 集成：使用 Model Context Protocol 实现设备端硬件控制和云端能力扩展。
• C 语言固件：基于 ESP-IDF v6.0.1+ 构建，确保嵌入式系统中的高性能表现。