injaneity/pi-computer-use

解決的問題

pi-computer-use 允許 AI 代理在 macOS、Windows 和 Linux 上與桌面應用程式互動。專為應用程式缺乏可靠 API 或終端指令的場景設計，迫使代理直接與圖形使用者介面（GUI）互動。

工作原理

此專案提供一個 Pi 擴充功能，為代理配備一組工具，用於尋找開啟的視窗、觀察可見介面、搜尋特定按鈕或文字，並執行點擊、輸入和捲動等物理動作。在 macOS 上，它使用需要輔助功能和螢幕錄製權限的輔助應用程式。在 Windows 上，它利用平台的輔助功能 API。在 Linux 上，它使用 AT-SPI2 輔助功能總線和 X11/Wayland 協定。

適用對象

需要在各種作業系統上自動化標準桌面軟體任務的 AI 代理開發者。

主要亮點

• 跨平台支援：支援 macOS（14+）、Windows 和 Linux。
• UI 觀察：提供檢查和搜尋可見介面中控制項和文字的工具。
• 操作執行：能夠點擊、輸入、捲動並等待 UI 變化。
• 狀態管理：使用不可變、作用域限定的觀察和快取的漸進式大綱查詢來管理桌面表面。
• 並行性：支援並行執行獨立的根任務。