Hacker-Valley-Media/Interceptor

Agent-driven Chrome extension for full browser control via CLI

何を解決するか

Interceptor は、AIエージェントがユーザーの実際のライブブラウザおよびmacOSアプリケーションを、まるで人間が操作しているかのように制御できる方法を提供します。Playwright や Puppeteer などで使われる別個の自動化ブラウザインスタンスの必要性を排除し、認証セッション、クッキー、ログイン情報が失われる問題や、ウェブサイトによって容易に検出される問題を解消します。

動作方法

Interceptor は CLI とデーモンを通じて、AIエージェントとOSの間のギャップを橋渡しします。主に3つの「表面」を提供します:

  • ブラウザ:Chrome、Brave、Safari用のWebExtension。ユーザーの既存セッション内でDOMツリーの読み取り、クリック、入力、ネットワークトラフィックの観察が可能。
  • macOS:Swiftで構築されたブリッジデーモン。アクセシビリティツリーとOSレベルの信頼された入力を使用して、ネイティブデスクトップアプリケーションを制御。
  • iOS:デバイス内でのXCUITest実行者。WiFi経由でロック解除されたiPhone上のアプリをエージェントが制御可能。

エージェントは CLI コマンド(例:interceptor act e1)または MCP(Model Context Protocol)サーバーを通じて本プロジェクトとやり取りします。これは Claude Desktop や Cursor などのAIクライアントと直接統合可能です。

対象ユーザー

  • 「コンピュータ使用」や「ブラウザ使用」機能を構築するAIエージェント開発者。
  • すでにログイン済みのウェブおよびデスクトップ環境内でタスクを自動化したいユーザー。
  • キャンバスレンダリングエディタ(Google Docsなど)を自動化する必要がある開発者、または手動の保存ダイアログなしでネイティブクライアント側のエクスポートを取得したい開発者。

特徴

  • セッションの継続性:ユーザーの実際のブラウザプロファイルを使用し、クッキーとログイン情報を保持。
  • クロスプラットフォーム制御:Web、ネイティブmacOSアプリ、iOSアプリの統一CLI。
  • MCP統合:MCPネイティブAIクライアント向けのネイティブサポートで、ツール登録が簡単。
  • 高度なブラウザ操作isTrusted チェックをバイパスし、OSレベルのキーボードイベントを必要とせずにキャンバスレンダリングエディタを制御可能。
  • 受動的ネットワーク監視:デバッガーバナーを発動せずに fetch、XHR、WebSocketトラフィックをキャプチャ。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト