injaneity/pi-computer-use
Let Pi control your apps on MacOS & Windows
何を解決するか
pi-computer-use は、macOS、Windows、Linux のあらゆるデスクトップアプリケーションと対話できるようにします。アプリケーションに信頼できる API やターミナルコマンドが存在しない場合、AIエージェントが直接グラフィカルユーザーインターフェース（GUI）と対話する必要がある状況に最適です。
動作方法
このプロジェクトは、エージェントに開いているウィンドウの検出、可視インターフェースの観察、特定のボタンやテキストの検索、クリック、入力、スクロールなどの物理的操作を実行するためのツールセットを提供する Pi 拡張機能を提供します。macOS では、アクセシビリティおよび画面録画の権限が必要なヘルパーアプリを使用します。Windows では、プラットフォームのアクセシビリティ API を活用します。Linux では、AT-SPI2 アクセシビリティバスと X11/Wayland プロトコルを利用します。
対象ユーザー
さまざまなオペレーティングシステム上で、標準的なデスクトップソフトウェア内でタスクを自動化する必要がある AI エージェントを開発している開発者。
特徴
- クロスプラットフォーム対応: macOS（14+）、Windows、Linux で動作。
- UI 観察: 可視インターフェース内のコントロールやテキストを検査・検索するためのツール。
- アクション実行: クリック、入力、スクロール、UI の変化を待つ機能。
- 状態管理: 不変でスコープ付きの観察と、キャッシュされたプログレッシブアウトラインクエリを使用してデスクトップ表面を管理。
- 並列処理: 独立したルートを並列で実行可能。
関連
- プロジェクト
lycorp-jp/sim-useAIエージェントがトークン効率の良いUIアウトラインと簡略化された操作コマンドを通じて、iOSおよびAndroidの画面を観察・操作できるようにするクロスプラットフォームCLI。
- プロジェクト
justhil/pi-apppi Desktop は、既存の *pi* コーディングエージェント用のクロスプラットフォーム Electron アプリです。CLI と同一の `~/.pi/agent` ファイルを共有し、タイムライン表示、Git風の差分、ファイルブラウジング、並列ワーカー、拡張アダプター、テーマ、オプションの音声入力を提供します。
- プロジェクト
remorses/usecomputerusecomputer は、macOS、Linux、Windows でスクリーンショット、座標マップ、マウス/キーボード操作（クリック、ドラッグ、入力、スクロール）を実行できるクロスプラットフォームCLI（およびTypeScriptライブラリ）です。ネイティブZigバックエンドを使用し、正確な画面-画像マッピングを提供するcoord-mapシステム、SSEによるグローバル入力イベントストリーミング、エージェントフレンドリーな画像配信のためのKitty Graphics Protocolをサポートしています。
- プロジェクト
iFurySt/open-codex-computer-useopen-computer-useは、AIエージェントがデスクトップ（macOS、Linux、Windows）を操作できるようにするオープンソースのMCPサーバーです。JSONベースのツール（アプリ一覧、キー入力、カーソル移動など）を提供し、Codex、Claude Code、Gemini CLIなどのエージェントと1行のインストールコマンドで統合できます。
- プロジェクト
openclaw/PeekabooPeekaboo は、macOS 専用の CLI およびメニューバーアプリで、画面をキャプチャし、アクセシビリティ API を介して構造化された UI マップを構築し、クリック、タイピング、キー押下、スクロールなどを自動化できます。また、自然言語の指示を実行できる LLM 駆動の「エージェント」も含まれており、Codex や Claude Code などの外部の Model‑Client‑Protocol (MCP) クライアントに公開することもできます。