vercel-labs/agent-desktop
Computer use CLI for AI agents
해결하는 문제
신뢰할 수 없는 픽셀 기반 화면 매칭에 의존하는 대신, 운영 체제의 접근성 트리를 읽고 조작하여 AI 에이전트가 데스크톱 애플리케이션과 상호 작용할 수 있도록 합니다.
작동 방식
이 도구는 현재 데스크톱 상태의 JSON 스냅샷을 생성하는 CLI 및 C 라이브러리를 제공합니다. 스냅샷의 각 대화형 요소에는 고유한 참조 ID가 할당됩니다. 에이전트는 이러한 특정 ID를 타겟팅하여 클릭, 입력, 스크롤과 같은 작업을 수행할 수 있습니다. 이 시스템은 UI 관찰, 참조에 대한 작업 수행, 결과 확인을 위한 재관찰이라는 루프를 위해 설계되었습니다.
대상 사용자
macOS, Windows 또는 Linux의 데스크톱 애플리케이션 내에서 작업을 수행해야 하는 AI 에이전트를 만드는 개발자를 위해 구축되었습니다.
주요 특징
- 네이티브 OS 접근성 트리를 통해 작동하여 정밀한 제어 가능.
- 기본적으로 헤드리스로 작동하여 마우스를 움직이거나 창 포커스를 뺏지 않고도 작업 수행 가능.
- 에이전트 루프에 쉽게 통합할 수 있는 구조화된 JSON 인터페이스 제공.
- 앱, 창, 입력을 관리하기 위한 50개 이상의 운영 명령 포함.
- CLI 사용 및 C 라이브러리(FFI)를 통한 직접 통합 모두 지원.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트