google/artemis

What it solves

Artemis 讓 AI 助手和自動化測試套件能夠像人類一樣與實體 Android 裝置互動。它透過使用多模態 AI 來感知並透過自然語言指令來導航 UI，解決了自動化複雜、多步驟的行動裝置工作流——特別是那些涉及自定義介面（如 Flutter 或 Compose）且傳統自動化工具難以定位的場景——的困難。

How it works

Artemis 使用由多模態模型（如 Gemini, Claude, 或 GPT-4o）驅動的反應式「觀察與行動」迴圈。它透過結合輔助功能層級、OCR 和視覺座標來識別 UI 元件。為了確保可靠性，它採用了「動態優先、座標回退」的定位器模式。

系統提供兩種執行模式：

• Flash Profile: 一個快速、節省 token 的迴圈（每步 3–5s）用於例行任務，使用歷史紀錄壓縮來維持上下文。
• Pro Profile: 一個複雜的多代理人圖結構，涉及一個 Planner（負責建立里程碑）、一個 Operator（負責執行行動）以及一個 Checker（負責驗證目標）。它包含一個「安全網」機制，在每次行動前會先檢查目標，以防止錯誤。

它透過 Model Context Protocol (MCP) 與 IDEs 整合，讓 AI 編碼助手可以從編輯器直接驅動實體裝置、收集 Logcat 輸出並截圖。

Who it’s for

• Mobile QA Engineers: 用於建立自主的穩定性測試和探索性測試。
• Android Developers: 用於重現現有的 Bug 並自動化重複性的裝置設定任務。
• AI Agent Developers: 需要一種可靠的方式讓 LLM 互動於行動裝置作業系統。

Highlights

• SOTA Performance: 在 AndroidWorld 基準測試中達到了 99%+ 的任務完成率。
• MCP Native: 與 Claude Code, Windsurf, 和 Antigravity 等 AI IDEs 整合。
• Cross-App Automation: 能夠執行跨多個不同 Android 應用程式的工作流。
• Multimodal Targeting: 支援元件索引、座標和針對自定義 UI 框架的視覺定位。
• Flexible Interface: 可透過 Web Visual Console, Developer CLI, Python SDK, 或 MCP server 進行存取。