google/artemis

何を解決するか

Artemisは、AIアシスタントや自動化テストスイートが、人間と同じように実機のAndroidデバイスを操作できるようにします。マルチモーダルAIを使用してUIを認識し、自然言語の指示に従ってナビゲートすることで、複雑で多段階のモバイルワークフロー（特に、従来の自動化ツールではターゲットにすることが困難なFlutterやComposeなどのカスタムインターフェースを含むもの）の自動化の難しさを解決します。

仕組み

Artemisは、マルチモーダルモデル（Gemini, Claude, GPT-4oなど）を活用したリアクティブな「観察して行動する」ループを使用します。アクセシビリティ階層、OCR、および視覚的な座標を組み合わせてUI要素を特定します。信頼性を確保するため、「Dynamic-First, Coordinate-Fallback」ロケーターパターンを採用しています。

システムは2つの実行モードを提供します：

• Flash Profile: 定型業務向けの高速でトークン効率の良いループ（1ステップあたり3〜5秒）。履歴圧縮を使用してコンテキストを維持します。
• Pro Profile: プランナー（マイルストーン作成）、オペレーター（アクション実行）、チェッカー（目標検証）を含む、高度なマルチエージェント・グラフ。エラーを防ぐために、すべてのアクションの前にターゲットを確認する「Safety Net」が含まれています。

Model Context Protocol (MCP) を介してIDEと統合されており、AIコーディングアシスタントがエディタから直接、物理デバイスの操作、Logcat出力の収集、スクリーンショットの取得を行うことができます。

対象ユーザー

• Mobile QA Engineers: 自律的な安定性テストや探索的テストの作成に。
• Android Developers: バグの再現や、繰り返しの多いデバイスセットアップ作業の自動化に。
• AI Agent Developers: LLMにモバイルOSを操作させるための信頼できる方法を必要とする開発者に。

ハイライト

• SOTA Performance: AndroidWorldベンチマークで99%以上のタスク完了率を達成。
• MCP Native: Claude Code, Windsurf, Antigravity などのAI IDEと直接統合。
• Cross-App Automation: 複数の異なるAndroidアプリにわたるワークフローの実行が可能。
• Multimodal Targeting: カスタムUIフレームワーク向けに、要素インデックス、座標、および視覚的なロケーションをサポート。
• Flexible Interface: Web Visual Console, Developer CLI, Python SDK, または MCP サーバー経由でアクセス可能。