shhivv/arc-cua

它解决了什么问题

arc-cua 解决了在计算机使用代理中，使用昂贵的尖端前沿 LLM 处理每一次 UI 交互的低效问题。它将高层规划与低层执行分离，允许规划器将受限的子任务交给更快、更专业的决策模型，由该模型处理重复的“观察-点击-观察”循环。

工作原理

该系统采用两层架构运行：

1. 规划器/代理：一个高层 LLM 或确定性规划器生成一个子任务负载，其中包含目标、输入、验证标准和约束条件。
2. 决策循环（arc-cua）：一个快速的决策模型（例如 JEV 或 OpenAI 的 Decisions API）接收子任务并执行 UI 循环。它使用辅助功能（AX）和本地 OCR 的混合方式观察桌面状态，构建可用控件的合法操作空间，并选择下一个操作，直到目标得到验证或子任务被阻塞。

该项目还包括 arc-driver，一个独立的 macOS 驱动程序，允许代理在后台读取应用程序窗口并对其执行操作，而无需移动用户的指针或更改最前面的应用程序。

适用人群

适用于构建计算机使用代理的开发者，他们希望减少昂贵的推理调用次数，并提高在 macOS 和 Chrome 浏览器上的执行速度和可靠性。

亮点

• 后台控制：在后台对 macOS 应用程序执行操作，这意味着用户可以在代理操作最小化或隐藏窗口的同时继续工作。
• 混合感知：结合了用于语义控件的 macOS 辅助功能（AX）和用于辅助功能较差的应用程序的 Apple Vision OCR。
• 决策模型分离：可接入各种决策后端（JEV、OpenAI Decisions）来处理低层 UI 导航。
• 安全防护：包含 allowed_risks，以防止模型点击具有重大影响的按钮（如“删除”或“购买”），除非明确允许。
• 机密信息处理：支持 secret_inputs，在决策模型的视图中对敏感数据进行脱敏，同时仍允许运行时输入这些值。
• 跨平台浏览器支持：包含一个 ChromeBackend，用于在 macOS、Linux 和 Windows 上进行后台浏览器自动化。