trycua/cua

解决的问题

Cua 为「计算机使用」AI代理提供全面的基础设施，使其能够在本地和云环境中与 macOS、Windows、Linux 和 Android 的桌面操作系统进行交互。它解决了为代理提供一致 API 的问题，使其能够执行点击、输入和截屏等操作，而不会干扰用户的光标或焦点。

工作原理

Cua 通过多个集成组件运行：

• Cua 驱动程序：这些驱动程序允许代理在后台驱动原生桌面应用程序，确保 AI 操作不会从用户那里夺取光标或焦点。
• Cua Sandbox：一个 SDK，为跨不同操作系统的代理就绪沙箱（虚拟机或容器）提供统一的 API 进行管理。
• Cua-Bench：一个基准测试和强化学习（RL）环境，允许开发者在 OSWorld 和 ScreenSpot 等数据集上评估代理，并导出轨迹用于训练。
• Lume：专为 Apple Silicon 上的 macOS 和 Linux 虚拟机设计的虚拟化工具，利用 Apple 的 Virtualization.Framework 提供接近原生的性能。

适用人群

• AI 代理开发者：需要构建能够自主与桌面软件交互的代理的开发者。
• 机器学习研究人员：使用 RL 环境和基准测试训练或评估计算机使用模型的研究人员。
• 软件工程师：需要为自动化测试或代理工作流提供可扩展、临时的 macOS、Windows 或 Linux 环境的开发人员。

主要亮点

• 跨操作系统支持：统一 API 支持 macOS、Windows、Linux 和 Android。
• 后台执行：驱动程序允许代理在不夺取用户光标的情况下与应用程序交互。
• 集成基准测试：原生支持 OSWorld、ScreenSpot 和 Windows Arena。
• Apple Silicon 优化：通过 Lume 实现高性能 macOS 虚拟化。
• 灵活部署：支持云托管沙箱和本地 QEMU 基础环境。