joey-zhou/xiaozhi-esp32-server-java

何を解決するか

Xiaozhi ESP32 Server Java は、ESP32ベースのスマートハードウェアデバイス向けのプロフェッショナルで企業向けのバックエンドを提供します。単純なハードウェアプロトタイプと、多数のデバイスを管理し、さまざまなAIモデルを統合し、リアルタイムの音声インタラクションを処理できるスケーラブルなシステムの間のギャップを埋めます。

動作方法

このプロジェクトは、二重プロセスアーキテクチャを使用して責任を分離しています：

• 管理サーバー（xiaozhi-server）：管理タスク、REST API、ユーザー/デバイス管理、OTA（空中更新）を処理します。
• 対話サーバー（xiaozhi-dialogue）：リアルタイムAIパイプラインを管理し、音声ストリームのWebSocket/MQTT通信、音声認識（STT）、大規模言語モデル（LLM）、音声合成（TTS）を含みます。

OpenAI、Ollama、Difyなど、幅広いAIプラットフォームと統合され、Qdrantを用いてベクトル検索を行い、RAG機能をサポートします。システムはローカルおよびクラウドベースの音声処理をサポートし、複数のデバイスが同じ空間で同時にトリガーされた場合に、1台のデバイスのみが応答する「最も近い応答」ロジックを実装しています。

対象ユーザー

• ESP32ハードウェアを所有し、包括的な管理プラットフォームが必要なユーザー。
• AI搭載音声アシスタント向けに安定的でスケーラブルなバックエンドを探している開発者。
• 高同時接続デバイスをサポートする必要がある組織。

特徴

• 包括的なAI統合：複数のLLMプロバイダーと、拡張機能を提供するMCPツールプロトコルをサポート。
• 高度な音声パイプライン：リアルタイムストリーミング対話、音声クローン、知的な中断処理を特徴とする。
• パーソナライズされた体験：家族メンバーを識別し、各ユーザーの独立した記憶を維持する音声パターン認識を含む。
• メモリシステム：RAG知識ベースと長期記憶グラフを実装し、セッション間でユーザーの好みを記憶。
• IoT制御：関数呼び出しを介して音声駆動のスマートホーム制御を可能にする。
• 企業向けツール：トークン、レイテンシ、デバイス活動のフルリンクモニタリングを備え、ワンクリックDockerデプロイをサポート。