ShawnPana/phone-harness

解决的问题

Phone Harness 让 AI 代理（例如 Claude Code 或 Codex）能够控制实体或云智能手机。它无需越狱或在设备上安装软件，让代理通过查看屏幕并执行点击和输入等操作来与移动应用交互。

工作原理

根据平台不同，此工具使用不同的传输方法：

• iPhone：使用 Mac 的 iPhone 镜像将手机呈现为窗口，Apple 的 Vision 框架进行 OCR 以查找文本坐标，以及 HID 级事件进行输入。
• Android：使用 Android Debug Bridge (adb) 捕获屏幕并访问无障碍树以获取文本，使用 input 命令执行操作。
• 云手机：提供可从任何操作系统远程控制的托管 Android（通过 adb）或 iPhone（通过 HTTPS）。

适用对象

开发人员和 AI 研究人员，希望让其编码代理能够在真实移动设备上自动化任务，例如测试应用或执行实际操作（如预订乘车）。

亮点

• 多平台支持：适用于 iPhone、Android 和云托管设备。
• 无需修改设备：无需越狱、Xcode 或安装设备端应用。
• 代理就绪：包含设置提示和技能定义，可轻松与 AI 代理集成。
• OCR 驱动交互：使用屏幕捕获和文本识别来确定点击和输入的位置。