google/artemis

它解决了什么问题

Artemis 允许 AI 助手和自动化测试套件像人类一样与真实的 Android 设备交互。它通过使用多模态 AI 来感知和导航 UI，从而解决了自动化复杂、多步骤移动工作流（尤其是涉及自定义界面，如 Flutter 或 Compose）的难题，这些传统自动化工具难以精准定位。

它如何工作

Artemis 使用由多模态模型（如 Gemini、Claude 或 GPT-4o）驱动的反应式「观察-行动」循环。它通过结合可访问性层级、OCR 和视觉坐标来识别 UI 元素。为确保可靠性，它采用「动态优先，坐标回退」的定位模式。

该系统提供两种执行模式：

• Flash Profile：一种快速、节省 token 的循环（每步 3–5 秒），用于常规任务，通过历史压缩保持上下文。
• Pro Profile：一种复杂的多智能体图结构，包含 Planner（创建里程碑）、Operator（执行操作）和 Checker（验证目标）。它包含一个「安全网」，在每次操作前检查目标，以防止错误。

它通过 Model Context Protocol (MCP) 与 IDE 集成，使 AI 编码助手能够直接驱动物理设备、收集 Logcat 输出并从编辑器中截取屏幕截图。

适合谁使用

• 移动 QA 工程师：用于创建自主的稳定性测试和探索性测试。
• Android 开发者：用于复现 bug 和自动化重复的设备设置任务。
• AI 智能体开发者：需要一种可靠方式让 LLM 与移动操作系统交互。

主要亮点

• SOTA 性能：在 AndroidWorld 基准测试中实现了 99%+ 的任务完成率。
• 原生 MCP 支持：与 Claude Code、Windsurf 和 Antigravity 等 AI IDE 直接集成。
• 跨应用自动化：能够跨多个不同的 Android 应用执行工作流。
• 多模态定位：支持元素索引、坐标和视觉定位，适用于自定义 UI 框架。
• 灵活接口：可通过 Web 可视化控制台、开发者 CLI、Python SDK 或 MCP 服务器访问。