trycua/cua
Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.
解決的問題
Cua 為「電腦使用」AI代理提供全面的基礎設施，使其能在本地與雲端環境中與 macOS、Windows、Linux 和 Android 的桌面作業系統互動。它解決了為代理提供一致 API 的問題，使其能執行點擊、輸入與截圖等操作，而不會干擾使用者的游標或焦點。
工作原理
Cua 透過多個整合元件運作：
- Cua 驅動程式：這些驅動程式讓代理能在背景驅動原生桌面應用程式，確保 AI 操作不會從使用者那裡奪取游標或焦點。
- Cua Sandbox：一個 SDK，為跨不同作業系統的代理就緒沙箱（虛擬機或容器）提供統一 API 進行管理。
- Cua-Bench：一個基準測試與強化學習（RL）環境，允許開發者在 OSWorld 和 ScreenSpot 等資料集上評估代理，並匯出軌跡用於訓練。
- Lume：專為 Apple Silicon 上的 macOS 與 Linux 虛擬機設計的虛擬化工具，利用 Apple 的 Virtualization.Framework 提供接近原生的效能。
適用對象
- AI 代理開發者：需要建構能自主與桌面軟體互動的代理的開發者。
- 機器學習研究人員：使用 RL 環境與基準測試訓練或評估電腦使用模型的研究人員。
- 軟體工程師：需要為自動化測試或代理工作流程提供可擴展、暫時性的 macOS、Windows 或 Linux 環境的開發人員。
主要亮點
- 跨作業系統支援：統一 API 支援 macOS、Windows、Linux 與 Android。
- 背景執行：驅動程式讓代理能在不奪取使用者游標的情況下與應用程式互動。
- 整合基準測試：原生支援 OSWorld、ScreenSpot 與 Windows Arena。
- Apple Silicon 優化：透過 Lume 實現高效率 macOS 虛擬化。
- 彈性部署：支援雲端主機沙箱與本地 QEMU 基礎環境。
相關
- Dispatch
- 專案
- 專案
- 專案
- 專案