AmrDab/clawdcursor

Clawd Cursor란?\n\nClawd Cursor는 AI 기반 '에이전트'가 실제 데스크톱을 안전하게 제어할 수 있게 해주는 로컬 MCP(Model-Control-Protocol) 서버입니다. 운영 체제 접근성 트리와 저렴한 OCR을 병합하여 화면을 구조화된 UI 맵으로 전환하고 각 요소에 안정적인 el_NN 식별자를 할당합니다. 에이전트는 원시 픽셀 좌표 대신 이러한 ID를 참조하여 작업(클릭, 입력, 앱 열기 등)을 수행합니다.\n\nREADME의 핵심 사항:\n\n| 기능 | 중요한 이유 |\n|---|---|\n| 크로스 플랫폼(Windows, macOS, Linux) | 사용자가 실행하는 모든 데스크톱에서 작동합니다. |\n| 비전 없는 기본 인식 | 먼저 무료 접근성 트리를 사용하고 OCR은 저렴한 대체 수단이며 전체 화면 스크린샷은 절대적으로 필요할 때만 사용되어 토큰 비용을 낮추고 데이터를 로컬에 유지합니다. |\n| 자체 검증 | 작업 후 서버는 UI를 다시 읽고 결과가 기대(expect 플래그)와 일치하지 않으면 DEVIATION을 보고합니다. |\n| 단일 안전 게이트 | 모든 요청은 safety.evaluate()를 통과하며 허용, 사용자 확인 요청 또는 작업 차단이 가능합니다. |\n| MCP 호환 | 표준 stdin/stdout MCP 인터페이스를 노출하므로 MCP를 지원하는 모든 도구(Claude Code, Cursor, VS Code, Zed, OpenAI Codex 등)를 한 줄 구성으로 연결할 수 있습니다. |\n| 도구 상자 | 약 98개의 세분화된 기본 요소를 기반으로 하는 7개의 복합 도구 그룹(컴퓨터, 접근성, 창, 시스템, 브라우저, 작업 등)이 있으며 모두 안전 게이트를 통과합니다. |\n\n엔진은 UI 맵(compile_ui)을 컴파일하고 에이전트가 이름으로 요소를 찾고(find_button, find_field) 작업을 수행한 다음 결과를 검증합니다. 검증에 실패하면 루프는 재시도하거나 편차를 보고할 수 있습니다.\n\n---\n## 누가 사용할까?\n\n- 네이티브 데스크톱 앱(이메일 클라이언트, 오피스 제품군, IDE 등)과 상호 작용해야 하는 AI 에이전트를 구축하는 개발자로, 사용자 지정 UI 자동화 코드를 작성하지 않으려는 사람.\n- Claude Desktop, Cursor 또는 기타 MCP 지원 편집기를 사용하는 팀으로, 드롭인 '데스크톱 제어' 확장을 원하는 팀.\n- 안전하고 로컬에서 실행되는 AI 에이전트를 실험하는 연구자로, 모델이 OS를 조작할 수 있는 결정적이고 검증 가능한 방법을 원하는 연구자.\n\n---\n## 빠른 시작(README에서)\n\n1. 설치 – npm i -g clawdcursor(또는 원라이너 npx -y clawdcursor 사용).\n2. 동의 부여 – clawdcursor consent --accept(macOS에서는 clawdcursor grant로 접근성 및 화면 녹화 권한 부여).\n3. MCP 호스트에 추가 – 예: VS Code의 .vscode/mcp.json: (JSON 코드 블록)\n4. 에이전트에게 요청 – "Outlook을 열고 Sarah의 최신 이메일에 답장해줘." 에이전트는:\n - UI 맵을 컴파일하고,\n - 안정적인 ID로 '답장' 버튼을 찾고,\n - 클릭하고, 답장을 입력하고,\n - 이메일이 전송되었는지 검증합니다.\n\n---\n## 내부 작동 방식\n\n1. 인식 계층화 – 서버는 먼저 OS 접근성 트리(무료)를 읽습니다. 필요한 요소가 없으면 OCR(여전히 저렴)을 실행합니다. 작업에 픽셀 수준 데이터가 정말로 필요한 경우에만 스크린샷을 찍고 선택적으로 비전 모델에 공급합니다.\n2. 안정적인 요소 ID – 모든 UI 요소에는 DPI 변경, 창 이동, 레이아웃 변경을 견디는 el_NN 식별자가 할당되어 에이전트가 여러 단계에서 동일한 요소를 참조할 수 있습니다.\n3. 안전 체크포인트 – 모든 호출은 safety.evaluate()를 통과합니다. 게이트는 자동으로 허용하거나, 인간의 확인을 요청하거나, 작업을 차단할 수 있습니다.\n4. 검증 – 작업 후 서버는 UI를 다시 관찰하고(동일한 계층적 인식 사용) 상태가 예상 결과와 일치하지 않으면 DEVIATION을 반환합니다.\n5. 도구 상자 – 7개의 고급 도구 그룹은 약 150개의 동사(click, type, read_tree, open_app 등)를 노출합니다. 디버깅이나 사용자 지정 호스트를 위해 약 98개의 기본 요소로 구성된 '세분화된' 표면도 제공됩니다.\n\n---\n## 제한 사항 및 고려 사항\n\n- OS 전제 조건 – macOS는 Xcode 명령줄 도구가 필요합니다. Linux는 tesseract-ocr, python3-gi, gir1.2-atspi-2.0이 필요하며 Wayland에서는 합성 입력을 위해 ydotool이 필요합니다.\n- 비전 대체 – 순수 캔버스 앱(게임, 페인트 등)은 여전히 스크린샷 기반 클릭에 의존하며 느리고 더 많은 토큰을 소비합니다.\n- 안전 UI – 데스크톱이 구동되고 있음을 나타내는 깜박이는 빨간 점이 있는 작은 화면 배너가 있으며, 더블 클릭하면 세션이 종료됩니다.\n- 로컬 전용 – 클라우드 구성 요소가 없으며 모든 처리는 사용자 머신에서 이루어져 개인 정보 보호에 좋지만 호스트는 OCR 및 선택적 비전 모델에 충분한 컴퓨팅 성능이 있어야 합니다.\n\n---\n## 결론\n\nClawd Cursor는 LLM 기반 에이전트와 실제 데스크톱 간의 개인 정보 보호, 검증 가능, 크로스 플랫폼 브리지를 제공합니다. 원시 스크린샷보다 접근성 데이터를 선호하고 단일 안전 게이트를 적용함으로써 'AI가 내 컴퓨터를 사용하게 하기'를 저렴하고 안전하게 만드는 것을 목표로 합니다.