OpenAI Universe

OpenAI Universe 是一個旨在訓練 AI 代理（agents）像人類一樣使用電腦的平台：透過觀察螢幕像素並操作虛擬鍵盤與滑鼠。透過在多樣化的軟體環境中提供廣泛的任務，OpenAI 旨在超越「狹義人工智慧」（Narrow AI）並邁向通用人工智慧（general intelligence），讓單一代理能夠應用過去的經驗來掌握陌生且困難的新環境。

Universe 基礎設施與技術設計

Universe 使用一種通用介面，允許代理操作遠端桌面。該系統將代理轉換為 VNC 客戶端，與環境的 VNC 伺服器進行互動，以交換視覺數據和輸入指令。

效能與可擴展性

為了支持高吞吐量的訓練，OpenAI 開發了一個用 Go 語言編寫的批次處理 VNC 客戶端，並作為共享函式庫載入 Python 中。這種架構使得單個 Python 程序能夠以每秒 60 幀的速度並行驅動多達 20 個環境。系統通常能維持 100ms 的延遲，其中大部分時間花在伺服器端的編碼。

關鍵基礎設施特性

  • 通用性：代理可以與任何現有的電腦程式進行互動——包括遊戲、終端機、網頁瀏覽器、CAD 軟體和試算表——而不需要模擬器或存取程式的內部代碼。
  • 以人為中心的介面：由於介面模仿人類互動（像素/鍵盤/滑鼠），人類的表現可以作為基準。人類的演示可以被記錄為 VNC 流量，並用於行為複製（behavioral cloning），以便在切換到強化學習（RL）之前對代理進行初始化。
  • 標準化：使用 VNC 可以實現跨作業系統的廣泛相容性，並允許使用基於 JavaScript 的 VNC 實作，透過 Amazon Mechanical Turk 等服務收集演示數據。
  • 可觀察性：透過將 VNC 客戶端連接到環境的共享桌面，可以即時對訓練進行除錯。

支援的環境

Universe 中的每個環境都封裝為一個 Docker 鏡像，其中包含用於像素/輸入的 VNC 伺服器，以及用於獎勵信號和控制訊息的 WebSocket 伺服器。

Atari 遊戲

Universe 包含了來自 Arcade Learning Environment 的 Atari 2600 遊戲。這些遊戲在 Docker 鏡像中異步運行，迫使代理處理現實世界的網路狀況。在本地雲端網路中，系統可實現 60 FPS，且觀察延遲為 20ms，動作延遲為 10ms；在公共網際網路中，這會降至 20 FPS，觀察延遲為 80ms，動作延遲為 30ms。

Flash 遊戲

OpenAI 整合了 1,000 款 Flash 遊戲（其中 100 款具有獎勵函數）以擴展平台規模。由於這些遊戲缺乏用於成功標準的標準化記憶體結構，OpenAI 開發了一種基於卷積神經網絡的 OCR 模型。該模型從 VNC 自循環中解析螢幕分數，為 RL 提供獎勵信號。

瀏覽器任務

Universe 使代理能夠使用像素和輸入來瀏覽網頁，朝著電子郵件管理或完成教學課程等任務邁進。

  • Mini World of Bits：一個包含 80 個環境的基準測試，範圍從簡單的按鈕點擊到複雜的模擬電子郵件回覆，旨在作為瀏覽器互動領域的 MNIST。
  • 現實世界任務：代理正在接受現實任務的訓練，例如使用網站的快取錄影進行航班預訂搜尋，以避免對即時服務造成垃圾訊息騷擾。

驗證與效能結果

為了確保基礎設施能夠在存在「現實世界的雜亂性」（如變動延遲）的情況下支持學習，OpenAI 進行了幾項驗證實驗。

Universe Pong

透過使用 gym-core.PongDeterministic-v3 環境，OpenAI 驗證了代理儘管在變動延遲下仍能學習精確的反應。一個訓練一小時的入門代理達到了 21 分中的 +17 分，顯著優於同一遊戲版本的人類，後者由於環境速度過快，平均得分為 -11。

網路延遲分析

在公共網際網路中，代理的平均反應時間約為 150ms（110ms 觀察到達、10ms 計算和 30ms 動作生效）。這比人類平均 250ms 的反應時間更快。在本地網路中，這會降至 80ms，而在單機內則降至 40ms。

未來方向與社群整合

OpenAI 打算讓 Universe 成為通用問題解決能力的催化劑，就像 ImageNet 加速了電腦視覺一樣。未來的計劃包括：

  • 遷移學習基準測試：即將發布，用於衡量代理是否在提升跨任務的泛化能力。
  • 擴展整合：計劃整合 Android 應用程式（透過模擬器）、Unity 遊戲、HTML5 遊戲以及微軟的 Project Malmo。
  • 社群貢獻：OpenAI 正尋求打包更多軟體的許可，以及用於建立代理初始化公共數據集的人類演示數據。

SUMMARY: OpenAI Universe 是一個通用型 AI 訓練平台，允許代理透過螢幕像素和虛擬鍵盤/滑鼠輸入與任何電腦程式進行互動，以促進通用人工智慧的發展。

TITLE: OpenAI Universe

Sources