onehumanbeing/esp32-iphone-agent

解决的问题

此项目允许 AI 代理控制真实的 iPhone，而无需 Mac、Apple 开发者账号、越狱或在设备上安装任何软件。它绕过了传统对 XCTest 或 WebDriverAgent 的需求，通过像人类一样与手机互动：观察屏幕并使用指针。

运作原理

• 眼睛: 系统使用通过 UxPlay 的 AirPlay 镜像将 iPhone 屏幕串流传输到电脑，然后将串流转换为 AI 模型所需的 JPEG 帧。
• 双手: 一块廉价的 ESP32-S3 开发板插入 iPhone 的 USB 端口，作为标准的 USB HID (人机接口设备) 鼠标和键盘。启用 iOS 的“辅助触控”(AssistiveTouch) 后，代理即可移动指针、点击和输入文字。
• 大脑: 一个兼容 OpenAI 的视觉模型同时担任规划者 (建立逐步目标) 和执行者 (决定每个屏幕截图的具体动作)。
• 闭环控制: 服务器会追踪指针的相对位置，并在点击前进行微调以校准并确保准确性。它还会验证动作后屏幕是否发生变化，以检测并重试未成功的点击。

适用对象

希望使用基于视觉的 AI 代理来自动化 iPhone 应用程序 (包括游戏)，且不想受到 Apple 开发者生态系统限制的开发者与 AI 研究人员。

特色亮点

• 基于硬件的控制: 使用 7 美元的 ESP32-S3 开发板来模拟鼠标/键盘输入。
• 无需安装: iPhone 上无需安装任何应用程序或开发者签名。
• 视觉驱动: 可与任何兼容 OpenAI 的视觉模型搭配使用，包括本地模型。
• 实时监控: 包含一个具有实时手机屏幕、动作日志和逐步推理墙的 Web UI。
• 跨平台: 服务器可在 macOS 或 Linux 上运行。