onehumanbeing/esp32-iphone-agent

解決する課題

このプロジェクトでは、Mac、Apple開発者アカウント、脱獄、またはデバイスへのソフトウェアインストールを必要とせずに、AIエージェントが実際のiPhoneを操作できます。XCTestやWebDriverAgentを必要とする従来の手法を回避し、人間と同じように画面を見てポインターを使用することでiPhoneと対話します。

仕組み

• 目: システムはUxPlayを介したAirPlayミラーリングを使用してiPhoneの画面をコンピューターにストリーミングし、そのストリームをAIモデル用のJPEGフレームに変換します。
• 手: 安価なESP32-S3ボードをiPhoneのUSBポートに接続し、標準的なUSB HID (ヒューマンインターフェースデバイス) マウスおよびキーボードとして機能させます。iOSの「AssistiveTouch」を有効にすることで、エージェントはポインターの移動、クリック、タイピングが可能になります。
• 脳: OpenAI互換のビジョンモデルが、プランナー (ステップバイステップの目標作成) とアクター (各スクリーンショットに対する具体的なアクションの決定) の両方の役割を果たします。
• 閉ループ制御: サーバーはポインターの相対位置を追跡し、タップ前に微調整を行うことでキャリブレーションと精度の確保を行います。また、アクション後に画面が変化したかを確認し、タップが失敗した場合は検知して再試行します。

対象ユーザー

Appleのデベロッパーエコシステムの制約を受けずに、ビジョンベースのAIエージェントを使用してiPhoneアプリ (ゲームを含む) を自動化したい開発者やAI研究者。

ハイライト

• ハードウェアベースの制御: 7ドルのESP32-S3ボードを使用してマウス/キーボード入力をシミュレート。
• インストール不要: iPhone側にアプリや開発者署名は一切不要。
• ビジョン駆動: ローカルモデルを含む、あらゆるOpenAI互換のビジョンモデルで動作。
• リアルタイム監視: ライブのスマホ画面、アクションログ、ステップバイステップの推論を表示するWeb UIを搭載。
• クロスプラットフォーム: サーバーはmacOSまたはLinuxで実行可能。