CursorTouch/Android-MCP

解決する課題

Android-MCP は、AIエージェントがAndroidデバイスと直接対話できるようにするブリッジを提供します。複雑なコンピュータビジョンパイプラインや事前にプログラムされたスクリプトを必要とせず、LLMが自然言語を使用して、アプリのナビゲーション、UI操作、自動化されたQAテストといった現実世界のモバイルタスクを実行できるようにします。

仕組み

このプロジェクトは、Model Context Protocol (MCP) サーバーとして動作します。ADB (Android Debug Bridge) および Android Accessibility API を介してAndroidデバイスと統合し、ビュー階層の読み取りやアクションの実行を行います。ネイティブUI要素と対話するため、特別なOCRや微調整されたCVモデルを必要とせず、あらゆるLLMやVision Language Model (VLM) と連携可能です。

対象ユーザー

このツールは、AIエージェントを使用してAndroidのモバイル操作を自動化したい開発者やQAエンジニア、およびモバイルプラットフォームにおける身体性知能を研究する研究者向けに設計されています。

主な特徴

• ネイティブ統合: ADBとAccessibility APIを使用して、タップ、スワイプ、入力、UI階層の読み取りを行います。
• モデル非依存: あらゆるLLM/VLMと互換性があり、カスタムCVやOCRパイプラインは不要です。
• 包括的なツールセット: ジェスチャー、キー入力、スクリーンショット、デバイス状態監視、シェルコマンド実行のための専用ツールが含まれています。
• 柔軟な接続性: 物理デバイスおよびエミュレーター (Android 10+) 向けのUSBおよびWiFi ADB接続の両方をサポートしています。