droidrun/mobile-harness

解决的问题

Mobile Harness 提供了一套标准化的操作指令和 Python API，使 AI 代理能够控制 Android 和 iOS 设备。它弥合了 AI 代理的推理与实际在移动设备上执行操作之间的差距，无论设备是本地连接还是在云端托管。

工作原理

它作为一个紧凑的 Markdown 指令集和控制库（mobilerun_core）运行。代理通过各种后端（Android 的 ADB、iOS 和 Android 的 HTTP 门户，或云服务）使用 Python API 连接到设备。连接后，代理可以使用高级辅助工具在可访问性树中查找 UI 元素、点击节点、输入文本、滚动页面并截取屏幕截图。它还包含一组结构化的 Markdown 指南（如 AGENTS.md 和平台特定指南），可根据当前任务或平台将代理路由到正确的操作说明。

适用人群

本工具专为需要在真实 Android 和 iOS 硬件上执行任务自动化、测试或与移动应用交互的 AI 代理开发者设计。

主要亮点

• 跨平台支持：支持 Android 和 iOS。
• 灵活的连接方式：支持本地 ADB、本地 HTTP 门户和基于云的设备访问。
• 基于可访问性的交互：使用设备的可访问性树通过 find_nodes 和 tap_node 查找并操作 UI 元素。
• 面向代理的文档：包含专为 AI 代理在执行过程中阅读和遵循而设计的 Markdown 指南系统。
• Web 集成：可在云设备的前台 Chrome 标签页中执行 JavaScript。