shhivv/arc-cua

解決する課題

arc-cua は、コンピュータ利用エージェントにおいて、高価なフロンティアLLMをすべてのUI操作に使用する非効率性に対処します。高レベルの計画を低レベルの実行から分離し、プランナーが境界のあるサブタスクを、反復的な「観察-クリック-観察」ループを処理する高速で専門化された決定モデルに引き渡すことを可能にします。

仕組み

このシステムは2層アーキテクチャとして動作します。

1. プランナー/エージェント: 高レベルのLLMまたは決定論的プランナーが、目標、入力、検証基準、制約を含むサブタスクペイロードを生成します。
2. 決定ループ (arc-cua): 高速な決定モデル（JEVやOpenAIのDecisions APIなど）がサブタスクを受け取り、UIループを実行します。Accessibility（AX）とローカルOCRのハイブリッドを使用してデスクトップの状態を観察し、利用可能なコントロールの法的なアクション空間を構築し、目標が検証されるかサブタスクがブロックされるまで次のアクションを選択します。

このプロジェクトには、ユーザーのポインタを動かしたり、最前面のアプリを変更したりせずに、エージェントがバックグラウンドでアプリケーションウィンドウを読み取って操作できるようにするスタンドアロンのmacOSドライバーである arc-driver も含まれています。

対象者

高価な推論呼び出しの回数を減らし、macOSおよびChromeブラウザでの実行速度と信頼性を向上させたいと考えている、コンピュータ利用エージェントを構築する開発者。

主な特長

• バックグラウンド制御: macOSアプリをバックグラウンドで操作するため、エージェントが最小化または非表示のウィンドウで動作している間も、ユーザーは作業を続けることができます。
• ハイブリッド認識: セマンティックコントロール用のmacOS Accessibility（AX）と、アクセシビリティが低いアプリ用のApple Vision OCRを組み合わせます。
• 決定モデルの分離: さまざまな決定バックエンド（JEV、OpenAI Decisions）に接続して、低レベルのUIナビゲーションを処理します。
• 安全ガード: allowed_risks を含み、明示的に許可されない限り、モデルが「削除」や「購入」などの重要なボタンをクリックするのを防ぎます。
• シークレット処理: secret_inputs をサポートし、ランタイムが値を入力できるようにしながら、決定モデルのビューから機密データを編集します。
• クロスプラットフォームブラウザサポート: macOS、Linux、Windowsでのバックグラウンドブラウザ自動化のための ChromeBackend を含みます。