joey-zhou/xiaozhi-esp32-server-java

해결하는 문제

이 프로젝트는 ESP32 기반 스마트 하드웨어 기기를 위한 엔터프라이즈급 Java 백엔드 및 관리 플랫폼을 제공합니다. 저전력 하드웨어와 복잡한 AI 기능 간의 격차를 해소하고, 기기 관리 및 실시간 음성 상호작용을 처리할 수 있는 확장 가능한 방법을 제공합니다.

작동 방식

시스템은 REST API 및 기기 관리를 위한 관리 서버(xiaozhi-server)와 WebSocket 및 MQTT를 통한 실시간 오디오 스트림 처리를 위한 대화 서비스(xiaozhi-dialogue)로 구성된 이중 프로세스 아키텍처를 사용합니다. LLM, STT(음성-텍스트 변환), TTS(텍스트-음성 변환)를 위해 여러 AI 플랫폼을 통합하여 완전한 음성-음성 파이프라인을 구현합니다.

대상

• ESP32 하드웨어를 소유하고 있으며 견고한 관리 플랫폼이 필요한 사용자.
• AI 기반 IoT 기기를 위한 엔터프라이즈 수준의 확장 가능한 백엔드를 찾는 개발자.
• 음성 비서 서버를 빠르게 배포하려는 개인.

주요 특징

• 다중 AI 통합: OpenAI, Zhipu, Xunfei, Ollama, Dify, Coze를 지원합니다.
• 전체 음성 파이프라인: 음성 복제 및 실시간 중단 지원 기능을 갖춘 로컬 및 클라우드 기반 STT/TTS를 제공합니다.
• IoT 제어: Function Calling을 통한 음성 명령 기기 제어 및 다중 기기 조정을 지원합니다.
• RAG 지식 베이스: 장기 기억을 위한 문서 업로드 및 지능형 검색 기능을 포함합니다.
• 확장 가능한 아키텍처: 독립적인 관리 및 대화 프로세스를 통해 개별 수평 확장이 가능합니다.
• 종합 모니터링: 토큰 사용량, 대기 시간 및 기기 활동을 시각화합니다.