droidrun/mobilerun

何を解決するか

Mobilerunは、自然言語コマンドを使ってAndroidおよびiOSデバイスを制御する方法を提供します。LLMエージェントがアプリをナビゲートし、マルチステップのワークフローを実行し、モバイルインターフェースからデータを抽出できるようにすることで、モバイル操作の手動スクリプト作成の必要性を排除します。

動作方法

このフレームワークは、LLMとモバイルOSの間のギャップを埋めるために、デバイスにインストールされた「Portal」アプリを使用します。アクセシビリティツリー（UI状態）とスクリーンショットを組み合わせて、視覚的理解を可能にします。エージェントはタップ、スワイプ、入力などのアクションを実行できます。さまざまなLLMプロバイダー（OpenAI、Anthropic、Geminiなど）をサポートしており、マシンベースの制御用のローカルフレームワークと、ホストされたデバイス用のクラウド管理サービスの2つの動作モードを提供しています。

対象ユーザー

• QAエンジニア: モバイルアプリのテストやレグレッションチェックに使用。
• 開発者: Python APIを介してカスタムモバイル自動化ワークフローを構築。
• ビジネスユーザー: 自然言語を使って繰り返しのモバイルタスクを自動化したり、ネイティブアプリからデータを抽出したり。
• AI研究者: 実世界のモバイル環境と相互作用できるエージェントの開発。

特徴

• クロスプラットフォーム: AndroidおよびiOSデバイスの両方をサポート。
• ビジュアルモード: アクセシビリティツリーのデータが不足するアプリに対してもスクリーンショットを使用可能。
• 推論モード: 複雑なマルチステップ計画にマネージャー・エグゼキューター構造を採用。
• 拡張性: カスタムツール、構造化出力、アプリ固有のガイダンスカードの追加が可能。
• 観測性: 実行トレースのため、Arize PhoenixおよびLangfuseと統合。