openclaw/Peekaboo

Peekaboo – 仅适用于 macOS 的屏幕感知自动化

这是什么 – Peekaboo 是一款原生 macOS 工具（CLI + 菜单栏应用程序），可以看到屏幕上的内容，将视觉信息转换为结构化 UI 地图，然后通过点击、输入、按键、滚动等操作驱动 UI。它内置一个小型“代理”，可接受自然语言指令（例如*“打开 Safari，前往 github.com，并搜索 Peekaboo”*），并为您协调观察‑动作循环。

为何重要 – 现代 AI 辅助工作流程通常需要一种可靠的方式，让语言模型与桌面交互。Peekaboo 提供了低层原语（屏幕捕获、辅助功能检查、合成输入）和一个轻量 LLM 驱动代理，全部打包适用于 macOS 15+。

主要功能

领域	命令 / 功能	典型用途
观察	see、screen list、window list	捕获屏幕截图或获取特定应用程序/窗口的 JSON UI 树。
交互	click、type、press、scroll、drag、set-value、action	执行语义化 UI 操作（点击按钮、在字段中输入），无需将应用程序带到前台。
应用程序级控制	app、window、menu、menubar、dock、dialog、space	列出窗口、锁定特定 PID、操作 macOS 菜单或对话框。
代理 / 工作流	agent、capture	提供自然语言描述；内置代理规划一系列 see + 动作命令，可选择使用您配置的 LLM 提供者。
集成	mcp、browser、tools	将 Peekaboo 的命令集暴露给外部“Model‑Client‑Protocol”(MCP) 客户端，例如 Codex、Claude Code、Cursor 等。

如何使用

1. 安装 – 通过 Homebrew（brew install openclaw/tap/peekaboo）、npm MCP 包，或菜单栏应用程序的签名 DMG。
2. 授予权限 – 需要屏幕录制和辅助功能（以及合成输入权限）；peekaboo permissions status 有助于验证。
3. 运行命令 – 例如 peekaboo see --app Finder --json 获取 UI 地图，然后 peekaboo click "Address and search bar" --app Safari --window-id 12345 进行交互。
4. 代理模式 – 配置模型提供者（peekaboo config）后，运行 peekaboo agent "Open Safari, go to github.com, and search for Peekaboo" --allow-foreground。

适用对象 – 开发 AI 驱动 macOS 助手的开发者、想要可脚本化 UI 自动化的高级用户，以及任何将语言模型与原生 macOS 应用程序集成的人。

项目健康度 – 积极维护（CI 徽章、近期 4.9.0 版本新增范围菜单栏点击）、开源 MIT 许可证，以及小型社区移植生态系统（Windows、Linux）。

---

所有详细信息均直接取自存储库的 README。