MAA-AI/MaaMCP

解決する課題

MaaMCPは、AIアシスタント（Claudeなど）にAndroidデバイスやWindowsデスクトップアプリケーションを自動化する機能を提供します。Model Context Protocol (MCP) を通じて自動化機能を公開することで、LLMの推論と実際のデバイス操作の間のギャップを埋めます。

仕組み

MaaFrameworkベースのMCPサーバーとして機能し、AIが標準化されたツールセットを通じてデバイスと対話できるようにします。システムは主に2つの動作モードをサポートしています。

• シリアルモード (Serial Mode)：AIがアクションを実行し、OCRやスクリーンショットで結果を観察し、次のステップを決定する同期フロー。
• パイプラインモード (Pipeline Mode)：サーバーがバックグラウンドで継続的にスクリーンショットをキャプチャする非同期・マルチスレッド方式。AIは新しいキャプチャリクエストを待つことなく、リアルタイムで画面を監視し、変化に反応できます。

視覚認識にはOCRによるテキスト認識とスクリーンショットによる視覚分析を使用します。操作面では、クリック、スワイプ、テキスト入力、キーボードショートカットをサポートしています。

対象ユーザー

アプリでの食事の注文やソフトウェア設定の操作など、複雑なタスクを実行するために、AIエージェントにPCやモバイルデバイスを制御する力を与えたいユーザー。

主な特徴

• クロスプラットフォーム自動化: Android (ADB経由) とWindowsデスクトップアプリの両方をサポート。
• バックグラウンド操作: Windowsの自動化はバックグラウンドで実行されるため、マウスやキーボードを占有せず、ユーザーはPCを使い続けることができます。
• AI駆動のパイプライン生成: AIがタスクを一度実行し、その成功した一連のアクションを将来の自動実行のために再利用可能なJSON Pipelineに変換できます。
• マルチデバイス連携: 複数のデバイスやウィンドウを同時に接続・制御する機能。
• インテリジェントな認識: テキストベースのナビゲーションのための統合OCRと、スクリーンショットによる視覚分析。