ShawnPana/phone-harness

解决的问题

它允许 AI 代理（如 Claude Code 或 Codex）直接控制物理智能手机。通过使用现有的系统镜像和调试工具，无需复杂的设置（如越狱、Xcode 或 WebDriverAgent），为 LLM 提供一种方式，使其能够‘看见’和‘触摸’移动设备。

工作原理

该项目作为代理与手机之间的轻量级传输层：

• iPhone：使用 macOS iPhone 镜像功能，将手机视为一个窗口。通过屏幕截图和 Apple 的 Vision 框架 OCR 实现‘看见’，并通过向该窗口发送 HID 级别的 CGEvents（点击、拖拽、输入）实现‘操作’。
• Android：通过 USB 或 Wi-Fi 使用 adb（Android 调试桥）。通过 screencap 和设备自身的可访问性树实现‘看见’，以精确定位文本和元素，通过 adb 输入命令实现‘操作’。

适用人群

希望构建能够在物理 iOS 和 Android 设备上自动化真实世界移动任务的 AI 代理的开发者和 AI 研究人员，且无需修改设备系统软件。

亮点

• 无需设备修改：无需越狱或在手机上安装专用应用即可工作。
• 跨平台支持：支持 iPhone（通过 macOS Sequoia+）和 Android。
• 代理就绪：专为注册为 LLM 的‘技能’而设计，使 LLM 能够自动调用手机控制功能。
• 无状态架构：无需守护进程；每次调用都是自包含的。