ComputerUseAgent/AutoCua

해결하는 문제\nAutoCua는 사람처럼 컴퓨터를 사용할 수 있는 AI 에이전트를 구축하기 위한 프레임워크입니다. 실제 버튼을 클릭하고, 실제 앱에 입력하고, 자신의 Chrome 프로필을 탐색하고, 페어링된 iPhone을 제어할 수도 있습니다. 대부분의 에이전트가 브라우저나 샌드박스 내에서만 작동하는 단편화 문제를 해결하기 위해 데스크톱 앱, 브라우저, 셸 터미널, 모바일(iOS)에서 작동하는 단일 하네스를 제공합니다. 또한 화면 좌표 추측, 권한 대화 상자 차단, 긴 작업에서의 컨텍스트 제한, 원격 측정 전송과 같은 에이전트의 일반적인 실패 지점도 해결합니다.\n\n## 작동 방식\n내부적으로 AutoCua는 전문화된 에이전트의 계층 구조를 실행합니다. 상위 에이전트가 화면을 보고 무엇을 할지 결정한 다음 코드 작업, 브라우저 상호 작용 또는 웹 조사를 위해 하위 에이전트에 위임합니다. 각 단계에서 에이전트는 OS 접근성 트리와 OCR에서 구축된 번호가 매겨진 대화형 요소 목록과 해당 번호가 그려진 스크린샷을 받으므로 픽셀 위치를 추측할 필요가 없습니다. 입력은 운영 체제 자체 입력 계층(예: macOS의 kCGHIDEventTap, Windows의 SendInput, UAC 프롬프트용 커널 드라이버)에서 주입되므로 앱은 실제 마우스 및 키보드 이벤트를 인식합니다. 하네스는 데스크톱, 셸, Rust 기반 Chrome 확장 프로그램을 통한 웹, iOS의 여러 모드를 지원하며, 대화를 감시하고 실행 중간에 핸드오프 요약을 삽입하여 컨텍스트 고갈을 방지하는 압축 에이전트를 포함합니다.\n\n## 대상 사용자\nAutoCua는 각 앱에 맞춤형 통합을 구축하지 않고 실제 컴퓨터 작업(macOS 버전 확인부터 온라인 쇼핑 카트 작성까지)을 자동화하려는 개발자, 테스터, 고급 사용자를 대상으로 합니다. 오픈 소스(MIT)이며 pip로 설치할 수 있고, 모드, 공급자, 모델, 작업을 지정하는 하나의 run_agent() 호출로 간단한 Python API를 제공합니다. 시각적 모니터링을 위한 데스크톱 앱도 포함되어 있습니다.\n\n## 주요 기능\n- Windows, macOS, Linux(GNOME) 및 페어링된 기기 또는 시뮬레이터를 통한 iOS에서 작동합니다.\n- 실제 마우스/키보드 이벤트로 실제 데스크톱 앱을 구동하며 접근성 해킹이 없습니다.\n- 가벼운 Chrome 확장 프로그램을 통해 기존 브라우저 프로필과 쿠키를 재사용합니다(일반 실행에서 디버깅 포트 없음).\n- 복잡한 작업을 위한 멀티 에이전트 아키텍처(상위, 하위, 압축 에이전트).\n- 원격 측정 없음—외부 통신은 선택한 LLM 공급자에게만 이루어집니다.\n- 9개 공급자의 48개 모델을 지원하며 확장 가능합니다.\n- 한 줄 API: run_agent(mode, provider, model, task).