openclaw/Peekaboo

Peekaboo – macOS 전용 화면 인식 자동화

개요 – Peekaboo는 네이티브 macOS 도구(CLI + 메뉴 막대 앱)로, 화면의 내용을 보고 해당 시각 정보를 구조화된 UI 맵으로 변환한 다음 클릭, 입력, 키 누르기, 스크롤 등으로 UI를 구동할 수 있습니다. 작은 '에이전트'가 번들로 제공되며, 자연어 지침(예: "Safari를 열고 github.com으로 이동하여 Peekaboo를 검색하세요")을 제공하면 관찰‑행동 루프를 조정해 줍니다.

중요성 – 현대 AI 지원 워크플로우에서는 언어 모델이 데스크톱과 상호 작용할 수 있는 신뢰할 수 있는 방법이 필요한 경우가 많습니다. Peekaboo는 저수준 프리미티브(화면 캡처, 접근성 검사, 합성 입력)와 경량 LLM 기반 에이전트를 제공하며, 모두 macOS 15+용으로 패키징되어 있습니다.

주요 기능

영역	명령 / 기능	일반적인 용도
관찰	see, screen list, window list	스크린샷을 캡처하거나 특정 앱/창의 JSON UI 트리를 가져옵니다.
상호 작용	click, type, press, scroll, drag, set-value, action	앱을 전경으로 가져오지 않고 의미론적 UI 작업(버튼 클릭, 필드에 입력)을 수행합니다.
앱 수준 제어	app, window, menu, menubar, dock, dialog, space	창을 나열하고, 특정 PID를 대상으로 하며, macOS 메뉴 또는 대화 상자를 조작합니다.
에이전트 / 워크플로우	agent, capture	자연어 설명을 제공합니다. 내장 에이전트가 일련의 see + 작업 명령을 계획하며, 선택적으로 구성한 LLM 공급자를 사용합니다.
통합	mcp, browser, tools	Peekaboo의 명령 세트를 Codex, Claude Code, Cursor 등과 같은 외부 "Model‑Client‑Protocol"(MCP) 클라이언트에 노출합니다.

사용 방법

1. 설치 – Homebrew(brew install openclaw/tap/peekaboo), npm MCP 패키지 또는 메뉴 막대 앱용 서명된 DMG를 통해 설치합니다.
2. 권한 부여 – 화면 기록 및 접근성(및 합성 입력 권한)이 필요합니다. peekaboo permissions status로 확인할 수 있습니다.
3. 명령 실행 – 예: peekaboo see --app Finder --json으로 UI 맵을 가져온 다음 peekaboo click "Address and search bar" --app Safari --window-id 12345로 상호 작용합니다.
4. 에이전트 모드 – 모델 공급자를 구성(peekaboo config)한 후 peekaboo agent "Open Safari, go to github.com, and search for Peekaboo" --allow-foreground를 실행합니다.

대상 사용자 – AI 기반 macOS 어시스턴트를 개발하는 개발자, 스크립트 가능한 UI 자동화를 원하는 고급 사용자, 그리고 언어 모델을 네이티브 macOS 앱과 통합하려는 모든 사람.

프로젝트 상태 – 적극적으로 유지 관리되며(CI 배지, 최근 4.9.0 릴리스에서 범위 메뉴 막대 클릭 추가), 오픈 소스 MIT 라이선스, 그리고 소규모 커뮤니티 포트 생태계(Windows, Linux)가 있습니다.

---

모든 세부 사항은 저장소의 README에서 직접 가져온 것입니다.