Hacker-Valley-Media/Interceptor

Agent-driven Chrome extension for full browser control via CLI

解決的問題

Interceptor 提供了一種讓 AI 代理能像人類一樣控制使用者實際的、即時的瀏覽器與 macOS 應用程式的方法。它消除了對獨立自動化瀏覽器實例(例如 Playwright 或 Puppeteer 所使用的)的需求,這些實例經常會遺失認證會話、Cookie 和登入資訊,且容易被網站偵測到。

運作方式

Interceptor 透過 CLI 和一個守護程序,架起 AI 代理與作業系統之間的橋樑。它提供三個主要的「表面」:

  • 瀏覽器:適用於 Chrome、Brave 和 Safari 的 WebExtension,允許代理在使用者現有的會話中讀取 DOM 樹、點擊、輸入,並觀察網路流量。
  • macOS:使用可存取性樹與作業系統層級信任輸入的 Swift 橋接守護程序,用於驅動原生桌面應用程式。
  • iOS:設備端的 XCUITest 執行器,允許代理透過 WiFi 控制已解鎖的 iPhone 上的應用程式。

代理透過 CLI 命令(例如 interceptor act e1)或作為 MCP(Model Context Protocol)伺服器與本專案互動,可直接整合至 Claude Desktop 或 Cursor 等 AI 客戶端。

適用對象

  • 建構「電腦使用」或「瀏覽器使用」功能的 AI 代理開發者。
  • 希望 AI 代理在已登入的網頁與桌面環境中自動化任務的使用者。
  • 需要自動化 canvas 渲染編輯器(如 Google Docs)或無需手動儲存對話框即可擷取原生客戶端輸出內容的開發者。

核心亮點

  • 會話持續性:使用使用者真實的瀏覽器設定檔,保持 Cookie 與登入資訊完整。
  • 跨平台控制:統一 CLI 支援網頁、原生 macOS 應用與 iOS 應用。
  • MCP 集成:原生支援 MCP 原生 AI 客戶端,方便工具註冊。
  • 進階瀏覽器互動:繞過 isTrusted 檢查,無需作業系統層級鍵盤事件即可處理 canvas 渲染編輯器。
  • 被動網路監控:不觸發除錯器橫幅的情況下捕獲 fetch、XHR 和 WebSocket 流量。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案