browser-use/macos-harness

何を解決するか

Macコンピュータを制御するための最小限で薄いインターフェースを提供します。事前に構築されたアプリ固有のツールや硬直したフレームワークに頼るのではなく、あらゆるアプリ、ブラウザ、ローカルファイルシステムと直接やり取りできる低レベルのプリミティブをエージェントに提供します。

動作方法

このプロジェクトは、1つの永続的なPythonプロセスとして実行され、複数の低レベルメカニズムを使ってLLMをmacOSに接続します：

• ビジュアルと入力：CGWindowを使用してスクリーンショットを取得し、CGEventを使って特定のアプリケーションのプロセスID（PID）に直接キーボード入力と座標入力を送信します。ユーザーの物理マウスカーソルは移動しません。
• アクセシビリティ：ビジュアルデータだけでは不十分な場合に、より深い操作を可能にするため、Raw Apple Accessibility（AX）とApple Eventsを公開します。
• ブラウザ制御：Browser Harnessと統合し、Chrome DevTools Protocol（CDP）を介して本物のログイン済みブラウザを制御します。
• システムアクセス：Path を通じてローカルファイルシステムに直接アクセスし、subprocess を通じてシステムシェルにアクセスします。

対象ユーザー

macOS上で複雑なマルチアプリタスクを実行する必要があるAIエージェントを開発している開発者。

特徴

• 事前定義されたツールなし：エージェントはタスク中に独自のPythonロジックを書くことができ、see、key、type、click、ax、script といった低レベルプリミティブを使用します。
• 非侵襲的：背景のウィンドウをキャプチャし、アプリを前面に表示させたり物理マウスを動かしたりせずに入力を送信します。
• アニメーション付きのクリックスルー・ポインター：視覚フィードバック用に。
• 自己ブートストラップ：シンプルな手順を使ってエージェント自身がインストールおよび設定できるように設計されています。