google/artemis

ARTEMIS turns natural-language instructions into reliable Android automation. It automates end-to-end workflows, captures logs, and integrates seamlessly with AI coding assistants such as Antigravity, Codex, and Claude Code. It also achieves 99%+ success rate on AndroidWorld Benchmark.

解決する課題

Artemisは、AIアシスタントや自動テストスイートが人間と同じように実際のAndroidデバイスと対話することを可能にします。自然言語による指示と複雑なモバイルUI操作の間のギャップを埋め、すべてのUI要素に対して手動でスクリプトを作成することなく、自律的なクロスアプリ自動化、バグ再現、安定性テストを実現します。

仕組み

Artemisは、マルチモーダルな「観察と行動」ループを使用します。アクセシビリティ階層、OCR、視覚モデルを組み合わせて画面上の要素を特定し、必要に応じて座標による特定にフォールバックします。2つの実行モードを提供します。

  • Flash Profile: ルーチンタスク用の高速で反応性の高いループ（1ステップあたり3〜5秒）。履歴圧縮を使用してコンテキストを維持します。
  • Pro Profile: プランナー（マイルストーン用）、オペレーター（実行用）、チェッカー（検証用）を備えた高度なマルチエージェントグラフ。アクションの前にターゲットをチェックし、実行時のインシデントを処理して自律的に復旧する「セーフティネット」が含まれています。

このシステムは、Webコンソール、Python SDK、またはModel Context Protocol (MCP) サーバーとして統合でき、AI IDE（Claude CodeやWindsurfなど）をモバイルデバイスに直接接続できます。

対象ユーザー

  • モバイルQAエンジニア: 自律的なテストスイートや安定性テストの作成用。
  • Android開発者: AI IDEを使用してバグを再現し、診断監査を実行するため。
  • AI研究者: モバイルエージェントのパフォーマンスをベンチマークするため（AndroidWorldなど）。

ハイライト

  • 高い成功率: AndroidWorldベンチマークで99%以上のタスク完了率を達成。
  • MCP統合: Model Context Protocolをネイティブサポートし、AIコーディングアシスタントが実機を操作してLogcat出力を収集可能。
  • マルチモーダルターゲティング: 要素インデックス、座標、視覚的特定を組み合わせたハイブリッドアプローチにより、カスタムインターフェース（Canvas, Compose, Flutter）に対応。
  • 柔軟なデプロイ: CLI、Web UI、Python SDK、MCPサーバーとして利用可能。

関連

  • プロジェクト
    ls1intum/Artemis

    Artemisは、大学レベルのインタラクティブ学習を目的とした自己ホスト型でMITライセンスのプラットフォームです。多数の課題タイプ、自動採点、組み込みのバージョン管理/CI、類似性検出、アダプティブ学習をサポートします。オプションのAIサービス（Iris、Athena、Hyperion、Atlasエージェント）により、LLMベースのチュートリアル、フィードバック提案、作成支援が可能になります。単一の Docker‑Compose コマンドでデプロイ可能で、複数の教育機関で利用されており、2週間に1回リリースされています。

  • プロジェクト
    minitap-ai/mobile-use

    自然言語を使用して Android および iOS デバイスの自動化を実現するオープンソースの AI エージェント。アプリからタスクの実行やデータのスクレイピングを可能にします。

  • プロジェクト
    Core-Mate/OpenGUI

    OpenGUIは、AIエージェントがスクリーンショットを解釈し、UI操作を発行することで実際のAndroidスマートフォンを制御できるようにするフレームワークです。WorkBuddyおよびDeepSeek Harnessプラグインによる簡単なチャットベースの利用、高度なタスク計画のための完全なオプションバックエンド、タップ、スワイプ、入力などを実行する小型のAndroidクライアントを提供します。モバイルデバイスでのAI駆動テスト、自動化、コンテンツ作成に最適です。

  • プロジェクト
    yashab-cyber/opendroid

    OpenDroid は、スマートフォン上で自律型 AI エージェントを実行する Android アプリです。自然言語のリクエストを複数ステップのプランに解析し、システム設定、アプリ、ナビゲーション、決済、スマートホームデバイスにわたってアクションを実行し、結果を検証します。このアプリには、LiteRT-LM モデル用のオンデバイスモデルマネージャー、画面理解のためのビジョンエンジン、4 層のパーソナルナレッジグラフ、音声ウェイクワードサポート、プレミアムな Jetpack Compose UI が含まれています。13 の LLM プロバイダー（Gemini、Claude、OpenAI、Ollama など）を自動フォールバック付きでサポートします。クリーンアーキテクチャ、Dagger-Hilt、Room、Kotlin で構築されており、コンパイルには JDK 21 と Android 15 が必要です。Apache 2.0 ライセンスです。

  • プロジェクト
    suyiiyii/AutoGLM-GUI

    自然言語によるモバイルデバイスの操作、定期的なタスクのスケジュール設定、GUIを通じた複数デバイスの管理を可能にするAI駆動型Android自動化ツール。