AmrDab/clawdcursor

해결하는 문제

Clawd Cursor는 AI 에이전트가 데스크톱 컴퓨터를 제어할 수 있는 안전하고 크로스 플랫폼적인 방법을 제공합니다. 모든 동작마다 스크린샷에 의존하는 취약하고 비용이 많이 드는 시각 전용 방식 대신, 액세스빌리티 트리와 OCR을 우선시하는 계층형 인식 시스템을 사용하여 데스크톱 자동화를 더 빠르고 저렴하며 프라이버시를 보호하는 방식으로 만듭니다.

작동 원리

이 시스템은 Claude Code 또는 Cursor와 같은 에이전트와 통합되는 Model Context Protocol (MCP) 서버 역할을 합니다. "UI State Compiler"를 사용하여 액세스빌리티 데이터와 OCR을 화면 맵으로 융합하고, 요소에 안정적인 ID (el_NN)를 할당하여 에이전트가 픽셀 좌표가 아닌 ID를 통해 상호작용할 수 있도록 합니다.

"최저 비용 계층 우선" 인식 사다리를 채택합니다:

1. 구조화 (a11y): 액세스빌리티 트리를 사용(무료).
2. OCR: OS 수준의 텍스트 인식을 사용(저비용).
3. DOM: 웹 기반 콘텐츠에 Chrome DevTools Protocol을 사용(중간 비용).
4. Vision: 최후의 수단으로 스크린샷을 사용(고비용).

모든 동작은 인간의 확인 또는 차단을 위해 단일 안전 게이트 (safety.evaluate())를 통해 라우팅되며, 시스템은 이벤트 발생 후 라이브 화면을 확인하여 편차를 체크함으로써 동작을 검증합니다.

대상 사용자

Windows, macOS, Linux에서 네이티브 데스크톱 애플리케이션, 레거시 소프트웨어 또는 공개 API가 없는 모든 GUI와 상호작용해야 하는 AI 에이전트를 구축하는 개발자.

주요 특징

• 계층형 인식: 꼭 필요한 경우가 아니면 시각 모델을 피함으로써 토큰 비용을 절감합니다.
• 동작 검증: UI 동작이 성공했다고 가정하는 대신, 실제로 의도한 결과를 생성했는지 감지합니다.
• 크로스 플랫폼: Windows, macOS, Linux에 대한 네이티브 지원.
• 안전 우선: 중앙 집중식 안전 차단 지점과 킬 스위치가 있는 가시적인 "데스크톱 제어 중" 배너.
• MCP 네이티브: 모든 MCP 지원 호스트(Claude Code, Cursor, Windsurf 등)와 쉽게 통합 가능.