raulvidis/hermes-android

何を解決するか

このプロジェクトは、AIエージェントがリモートでAndroidデバイスを制御する方法を提供し、エージェントに「手」をもたらすことで、モバイルアプリやハードウェアとインタラクションできるようにします。VPNやポートフォワーディングのような複雑なネットワーク設定を必要とせずに、アプリの起動、メッセージの送信、スクリーンショットの取得などのタスクを実行できます。

動作方法

システムは2つの主要な部分から構成されています：Kotlinで書かれたAndroidブリッジアプリと、サーバー上で実行されるPythonツールセットです。スマートフォンはWebSocket経由で外部に接続し、リレーサーバーを経由してAIエージェントとHTTP通信を行います。このアーキテクチャにより、NATの背後でもスマートフォンが動作可能になります。ペアリングは簡単な6文字のコードで行われます。

対象ユーザー

hermes-agent を使用しているAIエージェントを開発している開発者で、実世界でのモバイルデバイスのインタラクション能力を備えたエージェントを構築したい人、またAndroid Automotive OS (AAOS) の車載ユニットを自動化したいユーザー。

主な特徴

• 豊富なツールセット： タップ、スワイプ、入力、アクセシビリティツリーの読み取り、通知の管理など、42種類の専用ツールを含みます。
• ハードウェア統合： マイクからの音声録音、GPS位置情報の取得、通話やSMSの送信をサポートします。
• クロスオーバー対応： Android Automotive OS (AAOS) に対応しており、車載ユニットの制御が可能です。
• NATトラバーサル： スマートフォンがサーバーへの接続を開始するため、USBケーブルや複雑なネットワーク設定が不要です。