openclaw/Peekaboo

解決的問題

Peekaboo 透過允許系統「看見」螢幕並與使用者介面互動，提供了一種自動化 macOS 應用程式的途徑。它彌補了高階意圖（例如「開啟 Safari 並搜尋專案」）與控制 Mac 所需的低階技術動作（點擊、輸入、可存取性檢查）之間的差距。

運作方式

Peekaboo 作為 CLI 與選單列應用程式運作，利用 macOS 的可存取性權限與螢幕錄製功能來檢視 UI。它能產生執行中應用程式的結構化 UI 地圖，截取螢幕截圖，並執行合成輸入動作，如點擊、輸入與捲動。內建一個能使用自然語言規劃多階段工作流程的代理，同時支援 Model Context Protocol (MCP)，讓外部 AI 客戶端（如 Claude Code 或 Cursor）也能使用相同的自動化工具。

適用對象

專為希望自動化重複性 macOS 任務的開發者與進階使用者設計，也適用於需要對 Mac 應用程式進行原生桌面控制的 AI 開發者。

主要特色

• 原生 UI 自動化：使用可存取性檢查與座標執行點擊、輸入與捲動操作。
• AI 代理整合：內建自然語言代理，能規劃並執行多階段任務。
• MCP 支援：向 MCP 相容客戶端公開其工具集，支援外部 AI 協調。
• 背景執行：在某些情況下，支援向背景應用程式傳送輸入，而無需其位於最前。
• 結構化檢視：可輸出應用程式 UI 元素的 JSON 地圖，實現精準定位。