minitap-ai/mobile-use

何を解決するか

Mobile-use は、自然言語を使用してモバイルデバイス（Android および iOS）を自動化する AI エージェントです。ユーザーが簡単なテキストコマンドでメッセージの送信やアプリのナビゲーションなどの複雑なタスクを実行できるようにすることで、手動操作の必要性を排除します。

動作方法

このシステムは、タスクを分解し、デバイスのユーザーインターフェースと対話するためのマルチエージェントアーキテクチャを使用しています。UI-aware（UIに意識的）であるため、アクセシビリティツリーのデータを活用してアプリのインターフェースをナビゲートできます。OpenAI、Google、xAI、OpenRouter、MiniMax、Anthropic Claude など、幅広い LLM プロバイダーをサポートしており、エージェントノードを駆動するように構成可能です。

対象ユーザー

モバイル自動化、モバイルアプリからのデータスクレイピング、モバイルOS環境向けエージェントフレームワークの開発に興味を持つ開発者や研究者。

主な特徴

• 自然言語制御: ネイティブ言語のコマンドでスマートフォンを制御。
• UI-aware 自動化: インターフェースを知的にナビゲート（ゲームでは制限あり）。
• データスクレイピング: 自然言語による記述でアプリから情報を抽出し、JSON などの形式に構造化。
• ベンチマーク性能: AndroidWorld ベンチマークで 100% の正確性を達成した最初のエージェントフレームワーク。
• クロスプラットフォーム対応: 物理的な Android フォン、Android シミュレータ、iOS シミュレータ（macOS 動作限定）に対応。