OpenAI Operator 研究預覽

OpenAI 已發布 Operator，這是一個能夠使用自己的網頁瀏覽器獨立執行任務的 AI 代理研究預覽。透過打字、點擊和滾動與圖形化使用者介面（GUI）互動，Operator 將 AI 從被動工具轉變為能夠處理重複性基於瀏覽器工作流程的主動參與者。

整合與可用性

截至 2025 年 7 月 17 日，Operator 已完全整合至 ChatGPT 作為「代理模式」，可經由撰寫器下拉選單存取。此整合取代了獨立站點（operator.chatgpt.com），該站點預計將於不久後下線。該工具最初於美國作為專業版用戶的研究預覽推出。

技術架構：電腦使用代理（CUA）

Operator 由一個名為電腦使用代理（CUA）的新模型驅動。該模型結合了 GPT-4o 的視覺能力與透過強化學習開發的進階推理，以與 GUI 互動，包括按鈕、選單和文字欄位。

關鍵技術特徵包括：

  • 視覺互動：CUA 透過螢幕截圖「看到」瀏覽器，並使用標準滑鼠與鍵盤動作進行互動，從而無需自訂 API 整合。
  • 自我糾正：當遇到錯誤或挑戰時，代理會利用推理能力進行自我糾正。
  • 效能：CUA 在 WebArena 與 WebVoyager 兩個主要瀏覽器使用基準測試中建立了新的最先進基準結果。

功能與使用者工作流程

Operator 能執行多種多樣的任務，例如訂購雜貨、填寫表單和製作表情圖。它支援幾項進階工作流功能：

  • 使用者接管：使用者可隨時接管遠端瀏覽器的控制權。Operator 已特別訓練好在遇到驗證碼、付款資訊或登入需求時移交控制權。
  • 個人化：使用者可對所有網站或特定域名（例如在 Booking.com 設定航空公司偏好）套用自訂指令。
  • 提示儲存：重複性任務（例如在 Instacart 補貨雜貨）可儲存為首頁上的提示，以便快速存取。
  • 平行執行：使用者可透過建立獨立對話同時執行多項任務。

生態系統夥伴與公共部門使用

OpenAI 正與多家公司合作，以提升 Operator 在真實世界中的實用性與轉換率，包括 Uber、DoorDash、Instacart、OpenTable、Priceline、StubHub 和 Thumbtack。

除了商業用途，OpenAI 正與 Stockton 市政府合作，以提升公民參與度，讓居民更容易報名參與市政服務與計畫。Stockton 市政府資訊科技總監 Jamil Niazi 指出：

"隨著我們在 Operator 的研究預覽階段了解更多資訊，我們將更有能力識別出 AI 如何讓我們居民的公民參與變得更簡單。"

安全、隱私與防護措施

OpenAI 已實施三層防護系統，以維持使用者控制並防止濫用：

1. 使用者控制與監督

  • 接管模式：Operator 會在需要敏感資料（登入/付款）時請求使用者輸入，且在此模式下不會截圖或收集輸入的資訊。
  • 使用者確認：在最終執行重大動作（例如發送郵件或提交訂單）之前，代理必須尋求使用者的批准。
  • 任務限制：Operator 已受訓練以拒絕高風險決策（例如求職申請決策）或敏感交易（例如銀行業務）。
  • 監看模式：在高度敏感的網站（例如金融服務）上需要密切監督。

2. 資料隱私

  • 訓練退出：如果在 ChatGPT 設定中停用「改進模型以供所有人使用」，Operator 的資料將不會用於訓練。
  • 資料管理：使用者可單鍵刪除所有瀏覽資料、登出所有網站，或刪除過去的對話。

3. 對抗防禦

  • 謹慎導航：系統設計用於偵測並忽略來自對抗網站的提示注入。
  • 監控模型：專門的模型會監視可疑行為，並能自動暫停任務。
  • 偵測管道：結合自動與人工審核，用於識別並更新防禦措施以應對新威脅。

目前限制與未來藍圖

作為研究預覽，Operator 目前在處理複雜介面時仍有困難，特別是涉及行事曆管理或投影片製作的介面。

OpenAI 對此技術的未來規劃包括：

  • API 存取：透過 API 公開 CUA 模型，讓開發者能構建自己的電腦使用代理。
  • 增強工作流程：提升代理處理更長且更複雜動作序列的能力。
  • 擴大存取範圍：將可用性延伸至 Plus、Team 與 Enterprise 用戶。

Sources