trycua/cua
Scale computer-use 2.0 with open-source drivers, cross-OS sandboxes, and benchmarks for training, evaluation, and data generation.
解决的问题
Cua 为“计算机使用”智能体提供了一个全面的基础设施——这些 AI 系统旨在像人类一样与图形用户界面、桌面应用程序和操作系统进行交互。它解决了为智能体提供可靠、可控且可观察的环境的问题，以执行那些不仅仅需要文本或 API 调用的任务。
工作原理
Cua 充当您的 AI 智能体与计算机之间的桥梁。它提供几个核心组件：
- Cua Spaces: 在您的本地机器或云端创建隔离的、智能体就绪的桌面环境 (VMs)。
- Cua Driver: 一个允许智能体在 macOS、Windows 和 Linux 上检查和操作原生桌面应用程序（如浏览器或计算器）的工具。
- Lume: 一个用于在 Apple Silicon 上管理本地 macOS 和 Linux 虚拟机的实用程序。
- Cua Bench: 一个用于创建、运行和评估计算机使用任务以衡量智能体性能的框架。
- CUA-S1: 一系列专门的小型模型，旨在在这些桌面环境中进行快速的“系统 1”决策。
适用人群
该项目面向那些正在构建需要与现实世界软件交互、执行跨应用程序工作流或自动化复杂桌面任务的自主智能体的 AI 开发人员和研究人员。
亮点
- 完全桌面控制: 为智能体提供它们自己的虚拟桌面，配备完整的文件系统和输入功能。
- 跨平台支持: 在 macOS、Windows 和 Linux 上均可进行驱动操作和沙箱管理。
- 多人协作能力: 允许人类和 AI 智能体共享同一个桌面环境，并拥有独立的鼠标指针。
- 评估工具: 包含内置基准测试，用于跟踪智能体进度并导出交互轨迹以进行训练。
- 灵活集成: 提供 Python、TypeScript、Swift 和 Kotlin 的 SDK，并支持通过 CLI 或 MCP (Model Context Protocol) 连接智能体。
相关
- Dispatch
- 项目
- 项目
- 项目
- Dispatch