Adolanium/hermes-gadget-sdk

解決する課題

Hermes Gadget は、AI エージェントと物理的なボタン操作で対話する方法を提供します。スマートフォンやノートパソコンを取り出す代わりに、TALK ボタンを押し、質問し、机の上や手の中の小さなデバイスから回答を聞きます。また、エージェントがデバイスの LED とセンサーを制御できるため、ガジェットはエージェントのツールへの具体的なインターフェースになります。

仕組み

このプロジェクトは、サポートされているボード向けの SDK と既製のファームウェアです。デバイスは、ディスプレイ、ボタン入力、通信を処理するポータブルな C++17 コアを実行します。WebSocket プロトコルを使用して Wi-Fi 経由で Hermes Agent（LLM エージェント）に接続します。エージェントのプラグインは、ガジェットのコントロールをエージェントツールとして公開し、音声認識/テキスト読み上げはエージェント自身の設定から提供されます。ブラウザインストーラから USB 経由でファームウェアをフラッシュし、その後スマートフォンから Wi-Fi を管理できます。デスクトップシミュレータは同じコアを実行するため、ハードウェアなしで体験をテストできます。Python ツールは、デバイスのビルド、シミュレーション、デプロイを処理します。

対象者

独自の AI エージェント向けに専用の音声アシスタントを構築したいホビイストやメーカー、そして新しいボード、センサー、カスタムフェイスを追加してハードウェアを拡張したい開発者向けです。シミュレータは、ハードウェアに着手する前にインタラクションを試すハードルを下げ、Home Assistant / MQTT の例は、ガジェットをスマートホーム設定に統合する方法を示しています。

ハイライト

• ESP32-S3 と Raspberry Pi 4/5 で動作し、即時テスト用のデスクトップシミュレータも提供。
• 押して話すインタラクション：ボタンを押し、話し、離すと回答が聞こえます。
• エージェントは、ガジェットの LED、センサー、その他のコントロールをツールとして読み取り、制御できます。
• 初期 USB フラッシュ後の無線ファームウェア更新、Hermes に到達できないビルドの自動ロールバック付き。
• 設定済みのランプと温度センサーを使用した Home Assistant と MQTT の例。
• MIT ライセンス、独立したコミュニティプロジェクト。