droidrun/mobilerun-portal

何を解決するか

Mobilerun Portalは、Androidユーザーインターフェースとプログラム的に対話および分析する方法を提供します。これは、リアルタイムのUI要素データ（クリック可能または編集可能なフィールドなど）の抽出や、UIテスト、自動化開発、アクセシビリティ監査などの目的でデバイスをリモート制御する際の困難さを解決します。

仕組み

これは、画面上にインタラクティブなオーバーレイを作成してUI要素をハイライトするAndroidアクセシビリティサービスとして動作します。HTTPソケットサーバー、WebSocket JSON-RPC、およびADB経由でアクセス可能なContentProviderを含む、いくつかの制御インターフェースを公開しており、外部ツールがUIツリーを照会し、キーボード入力を送信し、デバイスの状態を管理することを可能にします。また、クラウドベースの制御のためのリバースWebSocket接続、およびリアルタイムの画面ストリーミングのためのWebRTCもサポートしています。

対象ユーザー

このツールは、Android UI自動化に注力する開発者やQAエンジニア、アクセシビリティテスター、およびリモートコントロールやAI駆動のモバイルエージェントフレームワークを構築している人々向けに設計されています。

ハイライト

• マルチインターフェース制御: ローカルアクセスのためのADB、HTTP、およびWebSocketsに加え、クラウド制御のためのリバースWebSocketをサポートしています。
• リアルタイムUI分析: アクセシビリティツリーをJSONとして抽出し、クリック可能、スクロール可能、およびフォーカス可能な要素を特定します。
• リモートデバイス管理: URLからのAPKインストール、クリップボード操作、および画面ウェイクアップ・ウォッチドッグを可能にします。
• 視覚的フィードバック: デバイス画面上のUI要素を視覚的に特定するためのインタラクティブなオーバーレイを含んでいます。
• 低レベルのインタラクション: 直接的なキーボード入力およびキーイベントのシミュレーション（例：Enter、Back、Home）を提供します。