trycua/cua
Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.
解决的问题
Cua 提供了 AI 代理与电脑互动所需的基础设施与工具。它解决了为代理提供安全、隔离环境(沙盒)的挑战,并赋予其在 macOS、Windows 和 Linux 上操作原生桌面应用程序的能力,而不局限于 API 或网页浏览器。
运作方式
Cua 通过几个整合组件运作:
- Cua Driver:一个允许代理检查并操作原生桌面应用程序与浏览器的工具。它支持后台执行,让代理在不占用焦点或移动用户指针的情况下工作。
- Sandboxes & Fleets:提供代理可作为工作空间使用的隔离云端桌面 (Fleets) 或本地容器/虚拟机 (Lume)。
- CUA-S1:一系列小型、专门的「System 1」模型,专为快速、受限的决策而设计,例如填写表单或与界面元素互动。
- Cua Bench:一个用于建立任务、评估代理效能以及导出训练轨迹的框架。
- SDKs & CLI:一个用于管理这些环境与工具的统一接口 (Python, TypeScript, Swift, Kotlin)。
目标对象
开发 AI 代理并需要跨多个桌面应用程序执行复杂任务的开发者、专注于电脑使用 AI 的研究人员,以及需要隔离、可扩展云端环境进行代理自动化的团队。
特色亮点
- 跨平台支持:适用于 macOS、Windows 和 Linux。
- 隔离环境:提供本地虚拟机 (通过 Lume) 与云端沙盒。
- 专门模型:包含用于高效界面特定决策的 CUA-S1。
- 代理无关性:允许用户自带代理与模型,同时提供自动化基础设施。
- 评估工具:通过 Cua Bench 内置基准测试与 RL 环境。
相关
- Dispatch
- Dispatch
- 项目
- 项目
- 项目