droidrun/mobilerun

解決する課題

Mobilerunは、AIを使用してモバイルデバイスを自動化するという課題を解決します。開発者は自然言語を通じてAndroidおよびiOSデバイスを制御でき、エージェントが手動操作なしでアプリのナビゲーション、テキスト入力、データ抽出などのタスクを実行できるようになります。

仕組み

このフレームワークは、LLMと物理または仮想モバイルデバイスの間のブリッジとして機能します。デバイスにコンパニオンアプリである 'Portal' をインストールすることで、フレームワークは画面の検査、UI構造の読み取り、タップやスワイプなどのアクションの実行が可能になります。ユーザーはコマンドラインインターフェース (CLI) または Python API を介してこれらのアクションをトリガーでき、OpenAI、Anthropic、および Ollama を介したローカルモデルを含むさまざまな LLM プロバイダーをサポートしています。

対象ユーザー

このツールは、モバイルアプリのテスト自動化、反復的なモバイルタスクの実行、またはネイティブモバイル環境と対話可能な AI エージェントの構築を必要とする開発者や QA エンジニア向けに設計されています。

ハイライト

• 自然言語コマンドを使用して Android および iOS デバイスを制御。
• 直接的なタスク実行と複雑なマルチステップ推論モードの両方をサポート。
• 主要な LLM プロバイダーおよびローカルモデルと互換性あり。
• CLI、Python API、または Docker コンテナを通じた柔軟な統合を提供。
• スクリーンショットとアクセシビリティデータを組み合わせた視覚ベースの理解を提供。
• Langfuse などのツールを介した実行トレースとテレメトリの組み込みサポートを提供。