joey-zhou/xiaozhi-esp32-server-java

解決する課題

このプロジェクトは、ESP32ベースのスマートハードウェアデバイス向けにエンタープライズグレードのJavaバックエンドおよび管理プラットフォームを提供します。低電力ハードウェアと複雑なAI機能の間のギャップを埋め、デバイスの管理とリアルタイム音声対話の処理のためのスケーラブルな方法を提供します。

仕組み

システムは、REST APIとデバイス管理のための管理サーバー (xiaozhi-server) と、WebSocketおよびMQTTを介したリアルタイムオーディオストリームを処理するための対話サービス (xiaozhi-dialogue) からなるデュアルプロセスアーキテクチャを採用しています。LLM、STT (Speech-to-Text)、TTS (Text-to-Speech) 用に複数のAIプラットフォームを統合し、完全な音声間パイプラインを実現しています。

対象者

• ESP32ハードウェアを所有しており、堅牢な管理プラットフォームを必要とするユーザー。
• AI搭載IoTデバイス向けのエンタープライズレベルのスケーラブルなバックエンドを探している開発者。
• 音声アシスタントサーバーを迅速にデプロイしたい個人。

ハイライト

• 複数AI統合: OpenAI、Zhipu、Xunfei、Ollama、Dify、Cozeをサポート。
• 完全な音声パイプライン: ローカルおよびクラウドベースのSTT/TTSで、音声クローンとリアルタイム中断機能をサポート。
• IoT制御: Function Callingによる音声コマンドでのデバイス制御と複数デバイスの連携を実現。
• RAGナレッジベース: ドキュメントのアップロードと長期記憶のためのインテリジェントな検索を含む。
• スケーラブルなアーキテクチャ: 独立した管理プロセスと対話プロセスにより、個別の水平スケーリングが可能。
• 包括的なモニタリング: トークン使用量、レイテンシ、デバイスアクティビティを視覚化。