rounak/PhoneAgent

解决的问题

PhoneAgent 为 AI 代理提供了与移动设备交互和控制的方法。它弥合了高级 AI 推理与操作 iPhone 或 Android 设备所需的低级技术操作之间的差距，使代理能够执行打开应用、点击元素和输入文本等任务。

工作原理

该项目主要以两种模式运行：

1. 内置 iPhone 代理：一个独立的 SwiftUI 应用，使用 OpenAI Responses API 处理提示并直接在设备上执行操作。
2. 外部桥接：一个 JSON-RPC 服务器，允许外部 AI 代理（如 Codex 或 OpenClaw）向移动设备发送命令。

对于 iOS，它使用 XCTest 托管的操作针对模拟器或物理设备。对于 Android，它使用 adb（Android 调试桥）结合 UiAutomator 执行命令。

适用人群

需要通过 API 调用以标准化方式控制 iOS 和 Android 设备的移动自动化代理的开发者和 AI 研究人员。

主要亮点

• 跨平台支持：支持 iOS（模拟器和物理设备）和 Android（模拟器和物理设备）。
• 统一的 RPC 接口：为两个平台提供一组共享操作，包括 get_tree、get_screen_image、tap 和 scroll。
• 语音和文本输入：内置的 iOS 代理支持键盘输入、麦克风支持和自定义唤醒词模式。
• 本地主机导向的安全性：RPC 桥接限制在 127.0.0.1，以确保对设备访问的控制。