openclaw/Peekaboo

Peekaboo – macOS 専用の画面認識自動化

概要 – Peekaboo は、ネイティブ macOS ツール（CLI + メニューバーアプリ）で、画面上の内容を見て、その視覚情報を構造化された UI マップに変換し、クリック、タイピング、キー押下、スクロールなどで UI を操作できます。小さな「エージェント」がバンドルされており、自然言語の指示（例：「Safari を開いて、github.com に移動し、Peekaboo を検索して」）を与えると、観察とアクションのループを調整してくれます。

重要性 – 現代の AI 支援ワークフローでは、言語モデルがデスクトップと対話するための信頼できる方法がしばしば必要です。Peekaboo は、低レベルのプリミティブ（画面キャプチャ、アクセシビリティ検査、合成入力）と軽量な LLM 駆動エージェントを提供し、すべて macOS 15+ 向けにパッケージ化されています。

主な機能

領域	コマンド / 機能	典型的な用途
観察	see、screen list、window list	スクリーンショットをキャプチャするか、特定のアプリ/ウィンドウの JSON UI ツリーを取得します。
操作	click、type、press、scroll、drag、set-value、action	アプリをフォアグラウンドに持ってこずに、セマンティックな UI アクション（ボタンのクリック、フィールドへの入力）を実行します。
アプリレベル制御	app、window、menu、menubar、dock、dialog、space	ウィンドウを一覧表示し、特定の PID をターゲットにし、macOS のメニューやダイアログを操作します。
エージェント / ワークフロー	agent、capture	自然言語の説明を提供します。組み込みエージェントが一連の see + アクションコマンドを計画し、オプションで設定した LLM プロバイダーを使用します。
統合	mcp、browser、tools	Peekaboo のコマンドセットを、Codex、Claude Code、Cursor などの外部の「Model‑Client‑Protocol」(MCP) クライアントに公開します。

使用方法

1. インストール – Homebrew（brew install openclaw/tap/peekaboo）、npm MCP パッケージ、またはメニューバーアプリ用の署名付き DMG を使用します。
2. 権限を付与 – 画面収録とアクセシビリティ（および合成入力権限）が必要です。peekaboo permissions status で確認できます。
3. コマンドを実行 – 例：peekaboo see --app Finder --json で UI マップを取得し、peekaboo click "Address and search bar" --app Safari --window-id 12345 で操作します。
4. エージェントモード – モデルプロバイダーを設定（peekaboo config）した後、peekaboo agent "Open Safari, go to github.com, and search for Peekaboo" --allow-foreground を実行します。

対象ユーザー – AI 駆動の macOS アシスタントを開発する開発者、スクリプト可能な UI 自動化を求めるパワーユーザー、および言語モデルをネイティブ macOS アプリと統合したい人。

プロジェクトの健全性 – 積極的にメンテナンスされており（CI バッジ、最近の 4.9.0 リリースでスコープ付きメニューバークリックを追加）、オープンソース MIT ライセンス、およびコミュニティポートの小さなエコシステム（Windows、Linux）があります。

---

すべての詳細は、リポジトリの README から直接取得されています。