openclaw/Peekaboo

해결하는 문제

Peekaboo는 시스템이 화면을 "보는" 것과 사용자 인터페이스와 상호작용할 수 있도록 해줌으로써 macOS 애플리케이션을 자동화할 수 있는 방법을 제공합니다. "Safari를 열고 프로젝트를 검색하라"와 같은 고수준의 의도와 Mac을 제어하기 위해 필요한 저수준 기술적 작업(클릭, 타이핑, 접근성 검사) 사이의 격차를 메웁니다.

작동 방식

Peekaboo는 CLI 및 메뉴바 애플리케이션으로 작동하며, macOS 접근성 권한과 화면 녹화 기능을 사용하여 UI를 검사합니다. 실행 중인 애플리케이션의 구조화된 UI 맵을 생성하고, 스크린샷을 캡처하며, 클릭, 타이핑, 스크롤과 같은 합성 입력을 수행할 수 있습니다. 자연어로 다단계 워크플로우를 계획할 수 있는 내장 에이전트를 포함하며, Model Context Protocol (MCP)도 지원하여 Claude Code나 Cursor와 같은 외부 AI 클라이언트가 동일한 자동화 도구를 사용할 수 있도록 합니다.

대상 사용자

반복적인 macOS 작업을 자동화하고 싶은 개발자 및 고급 사용자, 그리고 Mac 애플리케이션에 대한 네이티브 데스크톱 제어가 필요한 AI 에이전트를 개발하는 AI 개발자에게 적합합니다.

주요 기능

• 네이티브 UI 자동화: 접근성 검사와 좌표를 사용하여 클릭, 타이핑, 스크롤을 수행합니다.
• AI 에이전트 통합: 자연어로 다단계 작업을 계획하고 실행할 수 있는 에이전트를 내장하고 있습니다.
• MCP 지원: MCP 호환 클라이언트에 도구 세트를 노출하여 외부 AI 오케스트레이션을 가능하게 합니다.
• 백그라운드 실행: 일부 경우에 앱이 전면에 있지 않아도 입력을 전달할 수 있습니다.
• 구조화된 검사: 정확한 타겟팅을 위한 애플리케이션 UI 요소의 JSON 맵을 출력할 수 있습니다.