google/artemis

解决的问题

Artemis 允许 AI 助理和自动化测试套件像人类一样与真实的 Android 设备进行交互。它弥合了自然语言指令与复杂移动 UI 交互之间的鸿沟，实现了自主的跨应用自动化、错误重现和稳定性测试，而无需为每个 UI 元素编写手动脚本。

工作原理

Artemis 使用多模态的“观察与行动”循环。它结合了辅助功能层级 (accessibility hierarchies)、OCR 和视觉模型来定位屏幕上的元素，并在必要时回退到坐标定位。它提供两种执行模式：

• Flash Profile：一种快速、响应式的循环（每步 3–5 秒），用于常规任务，并使用历史压缩来保持上下文。
• Pro Profile：一种复杂的多代理图结构，包含规划器 (Planner，用于里程碑)、操作员 (Operator，用于执行) 和检查器 (Checker，用于验证)。它包含一个“安全网”(Safety Net)，在执行操作前检查目标，并处理执行事故以实现自主恢复。

该系统可以通过 Web 控制台、Python SDK 或作为 Model Context Protocol (MCP) 服务器进行集成，将 AI IDE（如 Claude Code 或 Windsurf）直接连接到移动设备。

适用对象

• 移动 QA 工程师：用于创建自主测试套件和稳定性测试。
• Android 开发者：用于使用 AI IDE 重现错误并执行诊断审计。
• AI 研究人员：用于基准测试移动代理性能（例如在 AndroidWorld 上）。

特点

• 高成功率：在 AndroidWorld 基准测试中实现了 99%+ 的任务完成率。
• MCP 集成：原生支持 Model Context Protocol，允许 AI 编码助手驱动真实手机并收集 Logcat 输出。
• 多模态定位：使用元素索引、坐标和视觉定位的混合方法，适用于自定义界面 (Canvas, Compose, Flutter)。
• 灵活部署：提供 CLI、Web UI、Python SDK 和 MCP 服务器。