Cua 和 CUA-S1：用于 AI 计算机使用的开源基础设施

Cua 是一个开源生态系统，旨在为 AI 代理提供必要的基础设施，使其能够在 macOS、Windows 和 Linux 上与原生桌面应用程序和浏览器进行交互。该框架引入了「计算机使用 2.0」这一范式，即代理能够在单个任务中无缝地在执行代码、调用 API 和与图形用户界面（GUI）交互之间切换。

CUA-S1：专用的「系统 1」决策模型

CUA-S1 是一系列小型、专用模型，用于快速、有限的决策——即所谓的「系统 1」决策，而非通用规划或逐 token 的文本生成。这些模型旨在通过处理特定且重复的界面交互，来补充通用代理的推理能力。

专注于决策评分

CUA-S1 的初始研究重点是表单。这些模型不生成响应，而是基于结构化界面元素和文档值对决策进行评分。这种方法允许应用代码对操作进行排序，而可选的 Cua Driver 则负责在明确的操作边界内执行实际操作。

可用性和许可

CUA-S1 目前是一个仅源代码的研究发布版本。Python 模型代码、合成数据生成和评估工具采用 MIT 许可证，并可在 GitHub 上获取，而模型权重和数据集（如 CUA-S1-FORMS）则托管在 Hugging Face 上。

Cua Driver：跨平台桌面自动化

Cua Driver 提供了代理用于检查和操作原生桌面应用程序和浏览器所需的工具。它支持 macOS、Windows 和 Linux，并提供后台交付功能，允许代理在不移动用户光标或获取焦点的情况下与应用程序交互，前提是平台和应用程序支持该功能。

代理可以通过 CLI、Model Context Protocol (MCP) 或类型化 SDK 连接到 Cua Driver。它被设计为可与现有的代理框架（如 Claude Code、Codex、Cursor 和 OpenClaw）集成。

代理部署的基础设施

Cua 提供了两种主要方法来配置代理运行的环境：

Cua Fleets

Cua Fleets 允许用户配置隔离的云桌面。使用 Sandbox SDK，开发者可以从池中获取一个桌面，运行命令，截取屏幕截图，并在沙盒环境中与应用程序交互。

Lume

Lume 是一个用于在 Apple Silicon 上使用 Apple 的 Virtualization.Framework 创建和管理本地 macOS 和 Linux 虚拟机的工具。这使得开发者可以在隔离的本地环境中运行代理，例如从 Apple 恢复镜像创建一个 macOS Tahoe 虚拟机，并通过 SSH 连接。

Cua Bench：评估与训练

Cua Bench 是一个用于构建计算机使用任务、评估代理性能以及导出轨迹用于训练的框架。它允许创建无需虚拟机、Docker 或模型 API 密钥的模拟任务，从而实现对代理奖励的快速测试和验证。

社区见解与技术讨论

社区成员指出，从文本生成转向决策评分的架构转变是计算机使用领域一个特别有趣的方法。关于专用模型层级结构的潜在可能性也引发了讨论：

想法是拥有许多专用模型（表单、维基百科、Final Cut 等），由一个父模型选择最佳模型……设想是，一个 LLM 提供一个大目标，然后触发一系列专用模型快速完成任务？

这表明一种潜在的演进方向：一个高层规划器（系统 2）将特定的 GUI 交互委托给一系列专用的 CUA-S1 模型（系统 1）。