Cua 및 CUA-S1: AI 컴퓨터 사용을 위한 오픈소스 인프라스트럭처

Cua는 macOS, Windows, Linux에서 네이티브 데스크톱 애플리케이션과 브라우저와 상호작용할 수 있도록 AI 에이전트에게 필요한 인프라를 제공하기 위해 설계된 오픈소스 생태계입니다. 이 프레임워크는 '컴퓨터 사용 2.0'이라는 패러다임을 도입하며, 한 가지 작업 내에서 코드 실행, API 호출, 그래픽 사용자 인터페이스(GUI) 상호작용을 원활하게 전환할 수 있도록 합니다.

CUA-S1: 전문화된 "시스템 1" 결정 모델

CUA-S1은 일반적인 계획이나 토큰 단위 텍스트 생성이 아닌, 빠르고 제한된 결정(즉, "시스템 1" 결정)을 위한 작고 전문화된 모델들의 집합입니다. 이러한 모델들은 일반적인 에이전트의 추론 능력을 보완하여 특정하고 반복적인 인터페이스 상호작용을 처리하도록 설계되었습니다.

결정 점수화에 초점

CUA-S1의 초기 연구 초점은 양식(form)에 집중됩니다. 응답을 생성하는 대신, 이러한 모델들은 구조화된 인터페이스 요소와 문서 값 기반으로 결정을 점수화합니다. 이 접근 방식은 애플리케이션 코드가 작업 순서를 결정하게 하며, 선택적인 Cua 드라이버가 명시적인 작업 경계를 가지고 실제 실행을 처리합니다.

사용 가능성 및 라이선스

CUA-S1은 현재 소스 코드만 제공되는 연구용 릴리스입니다. Python 모델 코드, 합성 데이터 생성 및 평가 도구는 MIT 라이선스로 GitHub에 공개되어 있으며, 모델 가중치와 데이터셋(예: CUA-S1-FORMS)은 Hugging Face에 호스팅되어 있습니다.

Cua 드라이버: 크로스플랫폼 데스크톱 자동화

Cua 드라이버는 에이전트가 네이티브 데스크톱 애플리케이션과 브라우저를 검사하고 조작할 수 있도록 도와주는 도구를 제공합니다. macOS, Windows, Linux를 지원하며, 백그라운드 전달 기능을 제공하여 플랫폼과 애플리케이션이 지원하는 경우 사용자의 마우스 포인터를 이동하거나 포커스를 가져오지 않고도 앱과 상호작용할 수 있습니다.

에이전트는 CLI, Model Context Protocol (MCP), 또는 타입 지정된 SDK를 통해 Cua 드라이버에 연결할 수 있습니다. 이는 Claude Code, Codex, Cursor, OpenClaw와 같은 기존 에이전트 프레임워크와 통합될 수 있도록 설계되었습니다.

에이전트 배포를 위한 인프라스트럭처

Cua는 에이전트가 작동하는 환경을 제공하는 두 가지 주요 방법을 제공합니다:

Cua 플리트

Cua 플리트를 사용하면 사용자는 격리된 클라우드 데스크톱을 프로비저닝할 수 있습니다. Sandbox SDK를 사용해 풀에서 데스크톱을 할당하고, 명령어를 실행하며, 스크린샷을 캡처하고, 사전 환경에서 애플리케이션과 상호작용할 수 있습니다.

Lume

Lume은 Apple의 Virtualization.Framework를 사용하여 Apple Silicon 기반의 로컬 macOS 및 Linux 가상 머신(VM)을 생성하고 관리하는 도구입니다. 이는 개발자가 격리된 로컬 환경에서 에이전트를 실행할 수 있도록 하며, 예를 들어 Apple 복원 이미지에서 macOS Tahoe VM을 생성하고 SSH를 통해 연결할 수 있습니다.

Cua 벤치: 평가 및 훈련

Cua 벤치는 컴퓨터 사용 작업을 구축하고, 에이전트 성능을 평가하며, 훈련을 위한 트래잭터리를 내보내는 프레임워크입니다. VM, Docker, 모델 API 키 없이도 시뮬레이션된 작업을 생성할 수 있어, 에이전트 보상의 빠른 테스트와 검증이 가능합니다.

커뮤니티 인사이트 및 기술적 논의

커뮤니티 구성원들은 텍스트 생성 대신 결정 점수화에 초점을 맞춘 아키텍처 전환을 컴퓨터 사용에 대한 특히 흥미로운 접근 방식으로 언급했습니다. 또한 전문 모델의 계층 구조 가능성에 대한 논의도 제기되었습니다:

전문 모델(예: 양식, 위키백과, 편집 소프트웨어 등)을 여러 개 두고, 상위 모델이 가장 적합한 것을 선택하는 방식은 어떨까요? LLM이 큰 목표를 제시하고, 이 계층 구조의 전문 모델들이 빠르게 작업을 수행하도록 유도하는 방식 말이에요?

이는 고수준 계획자(시스템 2)가 특정 GUI 상호작용을 전문적인 CUA-S1 모델(시스템 1)의 세트에 위임할 수 있는 잠재적 진화를 시사합니다.

Sources

관련