HKUDS/PhoneCLI

解决的问题

PhoneCLI 解决了传统 GUI 代理在依赖持续的屏幕截图与视觉语言模型 (VLM) 调用时所面临的效率低下、成本高昂与脆弱性问题。通过将重复性的导航视为确定性流程而非推理问题，它降低了延迟（从秒级降至亚秒级），减少了 API 成本，并提高了移动设备上的任务成功率。

运作原理

PhoneCLI 使用三层执行策略来处理移动任务：

1. 离线编译 (Offline Compilation)：通过 BFS 爬虫探索应用程序界面，建立一个“应用程序地图”(YAML 文件)，记录屏幕、交互元素与导航路径。这会将复杂的 GUI 导航转化为一组可调用的确定性指令。
2. 在线执行 (Online Execution)：当请求任务时，系统首先尝试使用编译好的 CLI 指令进行导航，无需模型成本。若指令失败或任务为新颖任务，则回退至设备端模型，最后才使用云端 VLM。
3. 设备端优化 (On-Device Optimization)：利用专门的 3B 参数模型 (OpenPhone)，该模型旨在适应移动硬件限制 (GPU/NPU 内存)，以在本地处理推理与验证，确保隐私与速度。

适用对象

专为开发者与研究人员设计，适用于需要可靠且高效地在 Android 与 iOS 设备上运行，且不希望完全依赖昂贵云端 API 的移动 AI 代理开发。

特色亮点

• 混合执行 (Hybrid Execution)：结合确定性 CLI 风格重播与 VLM 推理，减少云端调用并提高成功率。
• 应用程序映射 (App Mapping)：预先计算应用程序的导航图，实现例行任务的亚秒级执行。
• 设备端优先 (On-Device First)：优先使用本地执行 (CLI $\rightarrow$ Device Model $\rightarrow$ Cloud) 以最小化延迟并最大化隐私。
• OpenPhone-3B：包含一个通过 SFT 与 RL (GRPO) 优化、专为 GUI 任务设计的开源权重 3B 模型。
• 跨平台 (Cross-Platform)：支持 iOS (通过 WebDriverAgent) 与 Android (通过 ADB/AndroidLab)。