shhivv/arc-cua

해결하는 문제

arc-cua는 컴퓨터 사용 에이전트에서 모든 UI 상호작용을 처리하기 위해 비싼 최첨단 LLM을 사용하는 비효율성을 해결합니다. 높은 수준의 계획과 낮은 수준의 실행을 분리하여, 플래너가 반복적인 "관찰-클릭-관찰" 루프를 처리하는 더 빠르고 전문화된 결정 모델에 제한된 하위 작업을 넘길 수 있게 합니다.

작동 방식

이 시스템은 2계층 아키텍처로 작동합니다:

1. 플래너/에이전트: 높은 수준의 LLM 또는 결정론적 플래너가 목표, 입력, 검증 기준 및 제약 조건을 포함하는 하위 작업 페이로드를 생성합니다.
2. 결정 루프 (arc-cua): 빠른 결정 모델(예: JEV 또는 OpenAI의 Decisions API)이 하위 작업을 받아 UI 루프를 실행합니다. 접근성(AX)과 로컬 OCR의 하이브리드를 사용하여 데스크톱 상태를 관찰하고, 사용 가능한 컨트롤의 합법적인 행동 공간을 구축하며, 목표가 검증되거나 하위 작업이 차단될 때까지 다음 행동을 선택합니다.

이 프로젝트에는 에이전트가 사용자의 포인터를 움직이거나 전면 앱을 변경하지 않고도 백그라운드에서 애플리케이션 창을 읽고 조작할 수 있는 독립형 macOS 드라이버인 arc-driver도 포함되어 있습니다.

대상 사용자

비싼 추론 호출 수를 줄이고 macOS 및 Chrome 브라우저에서 실행 속도와 안정성을 개선하려는 컴퓨터 사용 에이전트를 개발하는 개발자.

주요 기능

• 백그라운드 제어: macOS 앱에서 백그라운드로 작동하므로 에이전트가 최소화되거나 숨겨진 창에서 작동하는 동안 사용자는 계속 작업할 수 있습니다.
• 하이브리드 인식: 의미론적 컨트롤을 위한 macOS 접근성(AX)과 접근성이 낮은 앱을 위한 Apple Vision OCR을 결합합니다.
• 결정 모델 분리: 낮은 수준의 UI 탐색을 처리하기 위해 다양한 결정 백엔드(JEV, OpenAI Decisions)에 연결됩니다.
• 안전 장치: 명시적으로 허용되지 않는 한 모델이 "삭제" 또는 "구매"와 같은 중요한 버튼을 클릭하지 못하도록 하는 allowed_risks를 포함합니다.
• 비밀 처리: 런타임이 값을 입력할 수 있도록 하면서 결정 모델의 보기에서 민감한 데이터를 숨기는 secret_inputs를 지원합니다.
• 크로스 플랫폼 브라우저 지원: macOS, Linux 및 Windows에서 백그라운드 브라우저 자동화를 위한 ChromeBackend를 포함합니다.