openclaw/Peekaboo

解决的问题

Peekaboo 通过允许系统「看到」屏幕并与其用户界面交互，提供了一种自动化 macOS 应用程序的方法。它弥合了高层次意图（例如「打开 Safari 并搜索一个项目」）与控制 Mac 所需的低层次技术操作（点击、输入、可访问性检查）之间的差距。

工作原理

Peekaboo 作为一个 CLI 和菜单栏应用程序运行，利用 macOS 的可访问性权限和屏幕录制功能来检查 UI。它可以生成运行中应用程序的结构化 UI 地图，截取屏幕截图，并执行合成输入操作，如点击、输入和滚动。它内置了一个能够使用自然语言规划多步骤工作流的代理，还支持 Model Context Protocol (MCP)，允许外部 AI 客户端（如 Claude Code 或 Cursor）使用相同的自动化工具。

适用人群

专为希望自动化重复性 macOS 任务的开发者和高级用户设计，也适用于需要对 Mac 应用程序进行原生桌面控制的 AI 开发者。

主要亮点

• 原生 UI 自动化：使用可访问性检查和坐标执行点击、输入和滚动操作。
• AI 代理集成：内置自然语言代理，能够规划并执行多步骤任务。
• MCP 支持：向 MCP 兼容客户端暴露其工具集，支持外部 AI 协调。
• 后台执行：在某些情况下，支持向后台应用发送输入，而无需其处于前台。
• 结构化检查：可输出应用程序 UI 元素的 JSON 地图，实现精准定位。