78/xiaozhi-esp32

해결하는 문제

XiaoZhi는 ESP32 하드웨어에서 AI 기반 음성 챗봇을 구축하기 위한 오픈소스 프레임워크입니다. 저전력 임베디드 장치와 Qwen, DeepSeek와 같은 강력한 대규모 언어 모델(LLM) 사이의 격차를 메우며, 실시간 음성 상호작용과 하드웨어 제어를 가능하게 합니다.

작동 방식

이 프로젝트는 S3, C3, C5, C6, P4 등의 다양한 ESP32 칩 플랫폼용 펌웨어를 제공합니다. WebSocket 또는 하이브리드 MQTT+UDP 프로토콜을 통해 백엔드 서버에 연결됩니다. 오프라인 웨이크워드 감지에는 ESP-SR를 사용하고, 고품질 음성 상호작용을 위해 Opus 오디오 스트리밍을 사용합니다. 시스템은 Model Context Protocol (MCP)를 통합하여 AI가 로컬 장치 하드웨어(예: LED, 서보, GPIO)를 제어하고 스마트홈 제어나 지식 검색과 같은 클라우드 기능에 접근할 수 있도록 합니다.

대상 사용자

• 하드웨어 애호가 및 DIY 애호가: 자신만의 AI 음성 보조기나 로봇 강아지를 만들고 싶은 사람.
• 개발자: ESP32 생태계를 활용해 LLM을 임베디드 시스템에 통합하고 싶은 사람.
• 제품 디자이너: AI 기반 IoT 장치를 프로토타이핑하고 싶은 사람.

주요 특징

• 광범위한 하드웨어 지원: M5Stack 및 Espressif ESP-BOX를 포함해 170개 이상의 릴리스 변형 및 138개의 보드 디렉터리와 호환.
• MCP 통합: 디바이스 측 및 클라우드 측 도구 사용 및 제어에 Model Context Protocol를 사용.
• 다중 모달 입력: 카메라 비전 입력과 스피커 인식을 지원하여 사용자를 구분 가능.
• 유연한 네트워킹: Wi-Fi, 유선 이더넷, USB RNDIS, 4G 네트워킹 지원.
• 실시간 상호작용: AEC 대응 하드웨어에서 실시간 엔드투엔드 음성 모델을 사용해 풀디플렉스 상호작용 지원.
• 사용자 정의 가능: 웹 기반 생성기를 통해 사용자 정의 웨이크워드, 폰트, 이모지 설정 가능.