injaneity/pi-computer-use

解决的问题

pi-computer-use 允许 AI 代理在 macOS、Windows 和 Linux 上与桌面应用程序进行交互。它专为应用程序缺乏可靠 API 或终端命令的场景设计，迫使代理直接与图形用户界面（GUI）交互。

工作原理

该项目提供了一个 Pi 扩展，为代理配备了一组工具，用于查找打开的窗口、观察可见界面、搜索特定按钮或文本，并执行点击、输入和滚动等物理操作。在 macOS 上，它使用需要辅助功能和屏幕录制权限的辅助应用程序。在 Windows 上，它利用平台的辅助功能 API。在 Linux 上，它使用 AT-SPI2 辅助功能总线和 X11/Wayland 协议。

适用人群

需要在各种操作系统上自动化标准桌面软件任务的 AI 代理开发者。

主要亮点

• 跨平台支持：支持 macOS（14+）、Windows 和 Linux。
• UI 观察：提供检查和搜索可见界面中控件和文本的工具。
• 操作执行：能够点击、输入、滚动并等待 UI 变化。
• 状态管理：使用不可变、作用域限定的观察和缓存的渐进式大纲查询来管理桌面表面。
• 并行性：支持并行运行独立的根任务。