trycua/cua

해결하는 문제

Cua는 "컴퓨터 사용" AI 에이전트를 위한 포괄적인 인프라스트럭처를 제공하여, 로컬 및 클라우드 환경에서 macOS, Windows, Linux, Android의 데스크탑 운영체제와 상호작용할 수 있도록 합니다. 사용자의 커서나 포커스를 방해하지 않으면서 클릭, 입력, 스크린샷과 같은 작업을 수행할 수 있는 일관된 API를 에이전트에 제공하는 문제를 해결합니다.

작동 방식

Cua는 다음과 같은 통합된 구성 요소로 구성됩니다:

• Cua 드라이버: 에이전트가 백그라운드에서 네이티브 데스크탑 앱을 제어할 수 있도록 하여, AI 작업이 사용자의 커서나 포커스를 가로채지 않도록 합니다.
• Cua 사ند박스: 다양한 운영체제에서 에이전트 준비된 사ند박스(가상머신 또는 컨테이너)를 관리하기 위한 유니파이드 API를 제공하는 SDK입니다.
• Cua-Bench: OSWorld 및 ScreenSpot과 같은 데이터셋에서 에이전트를 평가하고, 트레이젝터리를 내보내어 트레이닝에 사용할 수 있는 벤치마킹 및 RL 환경입니다.
• Lume: Apple Silicon에서 macOS 및 Linux VM 전용 가상화 도구로, Apple의 Virtualization.Framework를 사용하여 네이티브에 가까운 성능을 제공합니다.

대상 사용자

• AI 에이전트 개발자: 데스크탑 소프트웨어와 자율적으로 상호작용해야 하는 에이전트를 개발하는 사람.
• ML 연구자: RL 환경과 벤치마크를 사용하여 컴퓨터 사용 모델을 훈련하거나 평가하는 사람.
• 소프트웨어 엔지니어: 자동화된 테스트나 에이전트 워크플로우를 위해 확장 가능하고 일시적인 macOS, Windows, Linux 환경이 필요한 개발자.

주요 특징

• 크로스 OS 지원: macOS, Windows, Linux, Android에 대한 유니파이드 API.
• 백그라운드 실행: 사용자의 커서를 가로채지 않는 에이전트의 앱 상호작용을 가능하게 하는 드라이버.
• 통합 벤치마킹: OSWorld, ScreenSpot, Windows Arena의 내장 지원.
• Apple Silicon 최적화: Lume를 통한 고성능 macOS 가상화.
• 유연한 배포: 클라우드 호스팅 사ند박스와 로컬 QEMU 기반 환경 모두 지원.