78/xiaozhi-esp32

해결하는 문제

XiaoZhi는 Qwen과 DeepSeek와 같은 대규모 언어 모델(LLM)을 물리적 하드웨어에 도입하기 위해 설계된 ESP32 마이크로컨트롤러용 오픈소스 AI 챗봇 프레임워크입니다. 센서, 디스플레이, IoT 제어를 통해 물리 세계와 상호작용할 수 있는 음성 인터랙티브 AI 어시스턴트를 구축하는 문제를 해결합니다.

작동 방식

시스템은 오디오 캡처와 재생을 처리하는 클라이언트로 ESP32 시리즈 칩을 사용합니다. WebSocket 또는 하이브리드 MQTT+UDP 프로토콜을 통해 백엔드 서버(공식 또는 자체 호스팅)에 연결됩니다. 파이프라인은 ESP-SR을 사용한 오프라인 음성 웨이크업, 스트리밍 ASR(자동 음성 인식), LLM 처리, TTS(텍스트 음성 합성)로 구성됩니다. 또한 Model Context Protocol(MCP)를 구현하여 AI가 하드웨어(예: LED, 서보, GPIO)를 제어하고 클라우드 측 기능(예: 스마트홈 제어, 지식 검색)에 접근할 수 있도록 합니다.

대상 사용자

ESP32 보드(예: ESP32-S3, P4, M5Stack CoreS3)를 사용하여 자체 AI 기반 음성 어시스턴트 또는 로봇 장치를 구축하고자 하는 하드웨어 애호가, DIY 사용자, 개발자.

주요 특징

• 광범위한 하드웨어 지원: 다양한 ESP32 칩 플랫폼에서 130개 이상의 보드 디렉터리와 170개 이상의 릴리스 변형을 지원.
• 다중 모달 상호작용: 카메라 비전 입력, 이모지 지원 OLED/LCD 디스플레이, 스피커 인식 통합.
• 유연한 네트워킹: Wi-Fi, 유선 이더넷, USB RNDIS, 4G 네트워킹 지원.
• MCP 통합: 디바이스 측 하드웨어 제어 및 클라우드 측 기능 확장에 Model Context Protocol 사용.
• C 기반 펌웨어: ESP-IDF v6.0.1+ 기반으로 임베디드 시스템에서 높은 성능을 보장.