78/xiaozhi-esp32

何を解決するか

XiaoZhi は、Qwen や DeepSeek などの大規模言語モデル（LLM）を物理的なハードウェアに導入することを目的とした、ESP32 マイコン向けのオープンソース AI チャットボットフレームワークです。センサ、ディスプレイ、IoT 制御を通じて物理世界と対話できる音声インタラクティブ AI アシスタントの開発という課題を解決します。

動作方法

このシステムは、音声のキャプチャと再生を処理するクライアントとして ESP32 シリーズチップを使用します。WebSocket またはハイブリッド MQTT+UDP プロトコルを通じて、バックエンドサーバー（公式または自己ホスト）に接続します。パイプラインは、ESP-SR を用いたオフライン音声起動、ストリーミング ASR（音声認識）、LLM 処理、TTS（音声合成）の順に構成されています。また、Model Context Protocol（MCP）を実装しており、LED、サーボ、GPIO などのハードウェアを制御し、スマートホーム制御や知識検索などのクラウド機能にアクセスできるようにしています。

対象ユーザー

ESP32 ボード（ESP32-S3、P4、M5Stack CoreS3 など）を使用して、独自の AI 搭載音声アシスタントやロボットデバイスを構築したいハードウェア愛好家、DIY ユーザー、開発者。

特徴

• 広範なハードウェア対応：さまざまな ESP32 チッププラットフォームで、130 以上のボードディレクトリと 170 以上のリリースバリアントをサポート。
• マルチモーダル対話：カメラビジョン入力、絵文字対応の OLED/LCD ディスプレイ、スピーカー認識を統合。
• 柔軟なネットワーキング：Wi-Fi、有線イーサネット、USB RNDIS、4G ネットワークに対応。
• MCP 統合：デバイス側のハードウェア制御とクラウド側の機能拡張の両方に Model Context Protocol を使用。
• C言語ベースのファームウェア：ESP-IDF v6.0.1+ に基づき、組み込みシステムでの高パフォーマンスを実現。