injaneity/pi-computer-use

何を解決するか

pi-computer-use は、macOS、Windows、Linux のあらゆるデスクトップアプリケーションと対話できるようにします。アプリケーションに信頼できる API やターミナルコマンドが存在しない場合、AIエージェントが直接グラフィカルユーザーインターフェース（GUI）と対話する必要がある状況に最適です。

動作方法

このプロジェクトは、エージェントに開いているウィンドウの検出、可視インターフェースの観察、特定のボタンやテキストの検索、クリック、入力、スクロールなどの物理的操作を実行するためのツールセットを提供する Pi 拡張機能を提供します。macOS では、アクセシビリティおよび画面録画の権限が必要なヘルパーアプリを使用します。Windows では、プラットフォームのアクセシビリティ API を活用します。Linux では、AT-SPI2 アクセシビリティバスと X11/Wayland プロトコルを利用します。

対象ユーザー

さまざまなオペレーティングシステム上で、標準的なデスクトップソフトウェア内でタスクを自動化する必要がある AI エージェントを開発している開発者。

特徴

• クロスプラットフォーム対応: macOS（14+）、Windows、Linux で動作。
• UI 観察: 可視インターフェース内のコントロールやテキストを検査・検索するためのツール。
• アクション実行: クリック、入力、スクロール、UI の変化を待つ機能。
• 状態管理: 不変でスコープ付きの観察と、キャッシュされたプログレッシブアウトラインクエリを使用してデスクトップ表面を管理。
• 並列処理: 独立したルートを並列で実行可能。