ComputerUseAgent/AutoCua

解決する問題\nAutoCua は、人間と同じようにコンピュータを使用できる AI エージェントを構築するためのフレームワークです。実際のボタンをクリックし、実際のアプリに入力し、自分の Chrome プロファイルを閲覧し、ペアリングした iPhone を操作することもできます。デスクトップアプリ、ブラウザ、シェルターミナル、モバイル（iOS）で動作する単一のハーネスを提供することで、断片化の問題（ほとんどのエージェントはブラウザまたはサンドボックス内でのみ動作する）を解決します。また、このようなエージェントの一般的な失敗点（画面座標の推測、権限ダイアログによるブロック、長いタスクでのコンテキスト制限、テレメトリ送信）にも対処します。\n\n## 仕組み\n内部では、AutoCua は専門化されたエージェントの階層を実行します。親エージェントが画面を監視して何をするかを決定し、コード作業、ブラウザ操作、またはウェブ調査のためにサブエージェントに委任します。各ステップで、エージェントは番号付きのインタラクティブ要素のリスト（OS のアクセシビリティツリーと OCR から構築）と、それらの番号が描画されたスクリーンショットを受け取るため、ピクセル位置を推測する必要はありません。入力はオペレーティングシステム自体の入力レイヤー（例：macOS の kCGHIDEventTap、Windows の SendInput、UAC プロンプト用のカーネルドライバー）で注入されるため、アプリは本物のマウスとキーボードイベントを認識します。ハーネスは複数のモード（デスクトップ、シェル、Rust ベースの Chrome 拡張機能によるウェブ、iOS）をサポートし、会話を監視して実行途中にハンドオフサマリーを挿入し、コンテキスト枯渇を防ぐ圧縮エージェントを含みます。\n\n## 対象ユーザー\nAutoCua は、各アプリに特注の統合を構築せずに、実際のコンピュータタスク（macOS バージョンの確認からオンラインショッピングカートの記入まで）を自動化したい開発者、テスター、パワーユーザーを対象としています。オープンソース（MIT）で、pip でインストールでき、シンプルな Python API（モード、プロバイダー、モデル、タスクを指定した 1 回の run_agent() 呼び出し）を提供します。視覚的な監視用のデスクトップアプリも含まれています。\n\n## ハイライト\n- Windows、macOS、Linux（GNOME）、およびペアリングデバイスまたはシミュレータを介した iOS で動作します。\n- 実際のマウス/キーボードイベントで実際のデスクトップアプリを操作し、アクセシビリティハックは不要です。\n- 軽量な Chrome 拡張機能を介して既存のブラウザプロファイルと Cookie を再利用します（通常の実行ではデバッグポートを使用しません）。\n- 複雑なタスクのためのマルチエージェントアーキテクチャ（親、サブエージェント、圧縮エージェント）。\n- テレメトリなし—外部通信は選択した LLM プロバイダーへのみです。\n- 9 つのプロバイダーから 48 のモデルをサポートし、拡張可能です。\n- ワンライン API：run_agent(mode, provider, model, task)。