microsoft/CUAWright

해결하는 문제

CUAWright는 코딩 모델이 웹 브라우저와 데스크톱 애플리케이션을 모두 자동화할 수 있는 통합 인터페이스를 제공합니다. 에이전트가 한 번에 하나의 작업만 예측하는 기존의 "단계별" 상호작용 루프에서 벗어나, 브라우저나 데스크톱을 코딩 에이전트가 터미널을 통해 실행, 프로그래밍 및 디버깅할 수 있는 환경으로 취급합니다.

작동 방식

CUAWright는 LLM에 자유 형식의 Python 스크립트(웹용 Playwright 사용)를 작성 및 실행하거나 Ubuntu VM에서 OS 명령(데스크톱 작업용)을 실행할 수 있는 터미널을 제공합니다. 에이전트는 코드 작성, 실행, 스크린샷 및 로그 검사, 작업 완료 시까지의 코드 수정 과정을 반복합니다. 이러한 "코드 기반 작업(code-as-action)" 접근 방식을 통해 에이전트는 일회성 상호작용이 아닌, 재사용 가능하고 매개변수화된 스크립트를 생성할 수 있습니다.

대상 사용자

브라우저 사용 에이전트를 구축하는 개발자나 Claude Code, Codex, Hermes와 같은 기존 코딩 에이전트에 브라우저/데스크톱 자동화 기능을 통합하려는 사용자를 위해 설계되었습니다.

주요 특징

• 통합 인터페이스: Playwright를 통한 웹 자동화와 Ubuntu VM에서의 데스크톱 자동화를 모두 지원합니다.
• 코드 중심 패러다임: 에이전트가 로컬 작업 공간에서 스크립트를 작성하고 디버깅하므로 브라우저 세션은 일회용으로 사용되고 코드가 영구적인 결과물이 됩니다.
• 스킬 팩토리: 해결된 작업을 LLM 없이도 독립적으로 실행할 수 있는 재사용 가능하고 검증된 매개변수화된 Python 스크립트로 추출할 수 있습니다.
• 플러그인 지원: Claude Code 및 OpenAI Codex용 매니페스트가 포함되어 있어 이러한 에이전트가 CUAWright를 스킬로 사용할 수 있습니다.
• 고성능: OSWorld-V2 및 Online-Mind2Web과 같은 벤치마크에서 정확도 향상 및 API 비용 절감 효과를 입증했습니다.