injaneity/pi-computer-use

Let Pi control your apps on MacOS & Windows

解决的问题

pi-computer-use 允许 AI 代理在 macOS、Windows 和 Linux 上与桌面应用程序进行交互。它专为应用程序缺乏可靠 API 或终端命令的场景设计，迫使代理直接与图形用户界面（GUI）交互。

工作原理

该项目提供了一个 Pi 扩展，为代理配备了一组工具，用于查找打开的窗口、观察可见界面、搜索特定按钮或文本，并执行点击、输入和滚动等物理操作。在 macOS 上，它使用需要辅助功能和屏幕录制权限的辅助应用程序。在 Windows 上，它利用平台的辅助功能 API。在 Linux 上，它使用 AT-SPI2 辅助功能总线和 X11/Wayland 协议。

适用人群

需要在各种操作系统上自动化标准桌面软件任务的 AI 代理开发者。

主要亮点

  • 跨平台支持：支持 macOS（14+）、Windows 和 Linux。
  • UI 观察：提供检查和搜索可见界面中控件和文本的工具。
  • 操作执行：能够点击、输入、滚动并等待 UI 变化。
  • 状态管理：使用不可变、作用域限定的观察和缓存的渐进式大纲查询来管理桌面表面。
  • 并行性：支持并行运行独立的根任务。

相关

  • 项目
    lycorp-jp/sim-use

    一个跨平台的 CLI 工具，使 AI 代理能够通过高效率的 UI 大纲和简化的交互指令，观察并操作 iOS 和 Android 屏幕。

  • 项目
    justhil/pi-app

    pi Desktop 是一个跨平台 Electron 应用，为现有的 *pi* 编码代理提供图形化界面。它与 CLI 共享相同的 `~/.pi/agent` 文件，展示会话时间线，提供 Git 风格的差异对比、文件浏览、并行工作进程、扩展适配器、主题，以及可选的语音输入功能。

  • 项目
    remorses/usecomputer

    usecomputer 是一个跨平台CLI（以及TypeScript库），可在macOS、Linux和Windows上让AI代理执行截图、坐标映射、鼠标/键盘操作（点击、拖拽、输入、滚动）。它使用原生Zig后端，提供精确的屏幕-图像映射的coord-map系统，通过SSE流式传输全局输入事件，并支持Kitty Graphics Protocol以代理友好的方式交付图像。

  • 项目
    iFurySt/open-codex-computer-use

    open-computer-use 是一个开源的 MCP 服务器，让 AI 代理能够控制桌面（macOS、Linux、Windows）。它提供基于 JSON 的工具（列出应用程序、按键、移动光标等），并可通过一行安装命令与 Codex、Claude Code、Gemini CLI 等代理集成。

  • 项目
    openclaw/Peekaboo

    Peekaboo 是一款仅适用于 macOS 的 CLI 和菜单栏应用程序，可捕获屏幕、通过辅助功能 API 构建结构化 UI 地图，并让您自动化点击、输入、按键、滚动等操作。它还包含一个由 LLM 驱动的“代理”，可执行自然语言指令，并可对外暴露给外部 Model‑Client‑Protocol (MCP) 客户端（例如 Codex 或 Claude Code）。