openclaw/Peekaboo

何を解決するか

Peekabooは、システムが画面を「見る」こととユーザーインターフェースと対話することを可能にすることで、macOSアプリケーションの自動化を実現します。高レベルの意図（例：Safariを開き、プロジェクトを検索する）と、Macを制御するために必要な低レベルの技術的アクション（クリック、入力、アクセシビリティの検査）の間のギャップを埋めます。

動作方法

PeekabooはCLIおよびメニュー項目アプリとして動作し、macOSのアクセシビリティ権限と画面録画機能を使用してUIを検査します。実行中のアプリケーションの構造化されたUIマップを生成し、スクリーンショットを撮影し、クリック、入力、スクロールなどの合成入力を実行できます。自然言語でマルチステップのワークフローを計画できる組み込みエージェントを備えており、Model Context Protocol (MCP)もサポートしており、Claude CodeやCursorなどの外部AIクライアントが同じ自動化ツールを使用できます。

対象ユーザー

繰り返しのmacOSタスクを自動化したい開発者やパワーユーザー、Macアプリケーションに対するネイティブデスクトップ制御が必要なAIエージェントを開発しているAI開発者に最適です。

特徴

• ネイティブUI自動化: アクセシビリティ検査と座標を使用して、クリック、入力、スクロールを実行します。
• AIエージェント統合: 自然言語でマルチステップタスクの計画と実行が可能なエージェントを内蔵しています。
• MCP対応: MCP互換クライアントにツールセットを公開し、外部AIによるオーケストレーションを可能にします。
• バックグラウンド実行: 一部のケースでは、アプリが前面に表示されていなくても入力を送信できます。
• 構造化された検査: アプリケーションのUI要素をJSONマップとして出力でき、正確なターゲティングが可能です。