trycua/cua

Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.

解决的问题

Cua 提供了 AI 代理与电脑互动所需的基础设施与工具。它解决了为代理提供安全、隔离环境(沙盒)的挑战,并赋予其在 macOS、Windows 和 Linux 上操作原生桌面应用程序的能力,而不局限于 API 或网页浏览器。

运作方式

Cua 通过几个整合组件运作:

  • Cua Driver:一个允许代理检查并操作原生桌面应用程序与浏览器的工具。它支持后台执行,让代理在不占用焦点或移动用户指针的情况下工作。
  • Sandboxes & Fleets:提供代理可作为工作空间使用的隔离云端桌面 (Fleets) 或本地容器/虚拟机 (Lume)。
  • CUA-S1:一系列小型、专门的「System 1」模型,专为快速、受限的决策而设计,例如填写表单或与界面元素互动。
  • Cua Bench:一个用于建立任务、评估代理效能以及导出训练轨迹的框架。
  • SDKs & CLI:一个用于管理这些环境与工具的统一接口 (Python, TypeScript, Swift, Kotlin)。

目标对象

开发 AI 代理并需要跨多个桌面应用程序执行复杂任务的开发者、专注于电脑使用 AI 的研究人员,以及需要隔离、可扩展云端环境进行代理自动化的团队。

特色亮点

  • 跨平台支持:适用于 macOS、Windows 和 Linux。
  • 隔离环境:提供本地虚拟机 (通过 Lume) 与云端沙盒。
  • 专门模型:包含用于高效界面特定决策的 CUA-S1。
  • 代理无关性:允许用户自带代理与模型,同时提供自动化基础设施。
  • 评估工具:通过 Cua Bench 内置基准测试与 RL 环境。

相关

  • Dispatch
  • Dispatch
  • 项目
  • 项目
  • 项目