lahfir/agent-desktop

해결하는 문제

agent-desktop는 AI 에이전트가 데스크톱 애플리케이션과 상호 작용할 수 있는 안정적인 방법을 제공합니다. 시각적 픽셀 추측에 의존하는 기존 방법과 달리 OS 접근성 트리를 사용하여 모든 애플리케이션의 실제 UI 구조를 확인하여 요소 참조가 안정적이고 작업을 안전하게 재시도할 수 있도록 합니다.

작동 방식

Rust로 구축된 이 도구는 데스크톱의 접근성 API를 관찰하여 UI 스냅샷을 생성합니다. "점진적 골격 탐색" 방법을 사용하여 밀도가 높은 앱의 얕은 개요를 제공하고 에이전트가 특정 관심 영역을 드릴다운할 수 있도록 하여 토큰 사용량을 줄입니다. 네이티브 CLI와 C-ABI 라이브러리를 제공하여 다양한 언어(Python, Node, Go 등)에 통합할 수 있습니다. Chromium 기반 앱의 경우 Chrome DevTools Protocol(CDP) 엔드포인트로 실행하여 Playwright나 Puppeteer와 같은 프레임워크를 통해 웹 콘텐츠를 더 깊이 제어할 수 있습니다.

대상 사용자

컴퓨터 데스크톱을 작동해야 하는 AI 에이전트를 구축하는 개발자, 특히 순수 시각 기반 자동화보다 안정적이고 구조화된 UI 상호 작용이 필요한 개발자를 위한 것입니다.

주요 기능

• 접근성 기반 상호 작용: 픽셀 대신 OS 접근성 트리를 사용하여 안정적인 요소 참조를 얻습니다.
• 토큰 효율성: 점진적 골격 탐색을 통해 밀도가 높은 앱에서 토큰 사용량을 78–96% 줄입니다.
• 다국어 지원: 네이티브 Rust CLI 및 C-ABI 바인딩을 제공하여 Python, Swift, Go, Ruby, Node, C를 지원합니다.
• Chromium 상호 운용: CDP를 지원하여 Chromium 앱의 웹 콘텐츠를 제어하면서 네이티브 메뉴와 창을 접근성 경로에 유지합니다.
• 에이전트 커서 오버레이: macOS에서 시각적이고 사용자 정의 가능한 커서를 제공하여 에이전트가 실시간으로 무엇을 하고 있는지 보여줍니다.
• 세션 관리: 공유 세션 및 추적을 지원하여 다중 에이전트 워크플로가 네임스페이스를 공유하고 세션 타임라인을 HTML로 내보낼 수 있습니다.