joey-zhou/xiaozhi-esp32-server-java

해결하는 문제

Xiaozhi ESP32 Server Java는 ESP32 기반 스마트 하드웨어 장치를 위한 전문적이고 기업용 백엔드를 제공합니다. 단순한 하드웨어 프로토타입과 다수의 장치를 관리하고, 다양한 AI 모델을 통합하며 실시간 음성 상호작용을 처리할 수 있는 확장 가능한 시스템 사이의 격차를 메웁니다.

작동 방식

이 프로젝트는 책임을 분리하기 위해 이중 프로세스 아키텍처를 사용합니다:

• 관리 서버 (xiaozhi-server): 관리 작업, REST API, 사용자/장치 관리, OTA(공중 업데이트)를 처리합니다.
• 대화 서버 (xiaozhi-dialogue): 실시간 AI 파이프라인을 관리하며, 음성 스트림을 위한 WebSocket/MQTT 통신, 음성 인식(STT), 대규모 언어 모델(LLM), 음성 합성(TTS)을 포함합니다.

OpenAI, Ollama, Dify 등 다양한 AI 플랫폼과 통합되며, Qdrant을 사용하여 벡터 검색을 수행하여 RAG 기능을 지원합니다. 시스템은 로컬 및 클라우드 기반 음성 처리를 지원하며, 동일한 공간에서 여러 장치가 동시에 트리거된 경우 하나의 장치만 응답하도록 하는 '가장 가까운 응답' 로직을 구현합니다.

대상 사용자

• ESP32 하드웨어를 소유하고 포괄적인 관리 플랫폼이 필요한 사용자.
• AI 기반 음성 어시스턴트용 안정적이고 확장 가능한 백엔드를 찾는 개발자.
• 고 동시 접속 장치 연결을 지원해야 하는 조직.

주요 기능

• 포괄적인 AI 통합: 여러 LLM 제공업체와 확장 기능을 제공하는 MCP 도구 프로토콜을 지원합니다.
• 고도화된 음성 파이프라인: 실시간 스트리밍 상호작용, 음성 클론, 지능적인 중단 처리 기능을 갖춥니다.
• 개인화된 경험: 가족 구성원을 식별하고 각 사용자별 독립된 기억을 유지하는 음성 패턴 인식을 포함합니다.
• 메모리 시스템: RAG 지식 기반과 장기 기억 그래프를 구현하여 세션 간 사용자 선호를 기억합니다.
• IoT 제어: 함수 호출을 통해 음성 기반 스마트 홈 제어를 가능하게 합니다.
• 기업용 도구: 토큰, 지연 시간, 장치 활동에 대한 전체 링크 모니터링을 제공하며, 원클릭 Docker 배포를 지원합니다.