droidrun/mobile-harness

何を解決するか

Mobile Harness は、AIエージェントがAndroidおよびiOSデバイスを制御できるようにする標準化された操作手順とPython APIを提供します。AIエージェントの推論と、実際のモバイルデバイス上のアクション実行の間のギャップを埋め、デバイスがローカルに接続されている場合でもクラウド上にホストされている場合でも対応可能です。

仕組み

これはコンパクトなMarkdownハーネスと制御ライブラリ（mobilerun_core）として機能します。エージェントはPython APIを使用して、さまざまなバックエンド（Android用のADB、iOSおよびAndroid用のHTTPポータル、またはクラウドサービス）を通じてデバイスに接続します。接続後、エージェントは高レベルのヘルパーを使用してアクセシビリティツリー内のUI要素を検索し、ノードをタップしたり、テキストを入力したり、スクロールしたり、スクリーンショットを撮影したりできます。また、AGENTS.md やプラットフォーム固有のガイドなど、構造化されたMarkdownガイドも含まれており、現在のタスクやプラットフォームに応じてエージェントが正しい手順にルーティングされます。

対象ユーザー

このツールは、実際のAndroidおよびiOSハードウェア上でタスクの自動化、テスト実行、モバイルアプリケーションとのインタラクションが必要なAIエージェントを開発する開発者向けに設計されています。

特徴

• クロスプラットフォーム対応：AndroidおよびiOSの両方に対応。
• 柔軟な接続性：ローカルADB、ローカルHTTPポータル、クラウドベースのデバイスアクセスをサポート。
• アクセシビリティベースの操作：find_nodes および tap_node を通じて、デバイスのアクセシビリティツリーを使用してUI要素を検索・操作。
• エージェント中心のドキュメント：実行中にAIエージェントが読み取り・実行できるように設計されたMarkdownガイドシステムを含む。
• Web統合：クラウド上のデバイスで、フォアグラウンドのChromeタブ内でJavaScriptを実行可能。