OpenMinis/iCTRL

解决的问题

iCTRL 将 iPhone 转变为 AI 代理的可控自动化端点。它通过提供稳定、高性能的 API，使代理能够像人类用户一样与屏幕、应用和系统设置交互，解决了以编程方式驱动 iOS 设备的难题。

工作原理

该项目在 iPhone 上运行一个长期存活的 XCUITest 运行器，通过 HTTP 暴露 JSON-RPC 2.0 API。由于它是为 AI 设计的，设备通过 GET /skill 和 GET /schema 提供自身的文档，使代理能够在运行时学习如何与手机交互。它使用合成的触摸事件来绕过标准 UI 测试延迟，实现快速响应的点击、滑动和屏幕读取。

适用人群

这适用于构建需要在 iOS 上执行任务的 AI 代理的开发者和研究人员，例如导航应用、读取屏幕内容或自动化需要真实设备交互的工作流程。

亮点

• 自描述 API： 代理无需预先配置知识即可动态发现功能和调用方法。
• 高性能： 针对速度优化，点击延迟约 280 毫秒，屏幕快照亚秒级完成。
• 增强可见性： 使用设备上的 Vision OCR 读取标准辅助功能树可能遗漏的文本和元素。
• 稳健安全： 具有加密、认证的通信，并需要在设备上直接进行配对批准。
• 灵活部署： 可通过 SideStore（免费 Apple ID）或 Xcode 安装，并支持局域网远程操作或仅本地模式。