OpenAI 暫停前沿模型訓練，以加強防護措施，因應網路關鍵能力的擔憂

OpenAI 因新興網路關鍵能力而暫停前沿模型訓練

OpenAI 在內部信號顯示即將推出的 Astra 模型可能達到 關鍵網路安全能力 標準後，停止了其最大規模的強化學習（RL）訓練計畫。目前正擴大監控、對齊與安全防護措施，待完成後才會恢復訓練。

暫停決定的重要性

OpenAI 的決定顯示，前沿 AI 實驗室已將新興模型能力視為具體風險，而非 speculative（ speculative 保留不翻譯）的擔憂。透過中止高風險的強化學習訓練，OpenAI 目標是防止具備自主駭客能力的模型在穩固防護措施驗證完成前被部署。

研究與部署中的新防護措施

OpenAI 的安全架構圍繞三大相互關聯的支柱構建：

  1. 監控 – 即時偵測異常行為。
  2. 對齊 – 訓練模型遵循預期目標。
  3. 安全措施 – 隔離與存取控制。

這些支柱現已統一應用於所有工作負載，對於具備網路關鍵潛力的模型則採用更嚴格標準。

保護研究環境

  • 工作負載隔離 – 對模型產生或輸入的任何程式碼實施更強的沙箱機制。
  • 網路隔離 – 加強控制，防止受損的工作負載接觸互聯網或內部網路。
  • 持續安全測試 – 移除共用服務、降低常態權限，並使用模型自身進行自動化攻擊模擬。

OpenAI 表示，所有與 Astra 相關的工作負載現在都必須符合最高安全等級。尚未達標的工作負載仍處於暫停狀態，安全關鍵任務將優先遷移。

"我們在研究叢集中暫停了前沿模型的推論，針對可能執行程式碼或使用可存取互聯網工具的執行流程……" – OpenAI 發文

擴展的鏈式思考監控

OpenAI 新的監控流程分為多階段運作：

  • 啟動分類器 – 在每個採樣的 token 上檢視模型內部活動。
  • 自動調查員 – 分析工具使用、推理路徑與完整活動序列，偵測未授權行為、資料竊取或試圖繞過防護的企圖。
  • 警示協定 – 若偵測到潛在違規，將發出高優先級警示，並通知安全、安全與研究團隊。若 30 分鐘內無法清除警示，則立即暫停活動。

目前監控系統為所保護的工作負載帶來約 20 % 的額外運算負擔。該系統對所有強化學習訓練及「Sol」能力或更高模型的工具使用評估為強制要求，且適用於所有使用工具的 Astra 推論。

對齊研究加速

OpenAI 正將核心對齊技術擴展至其最強大模型的整個訓練流程中：

  • 改進的獎勵模型 – 在多樣任務中更有效懲罰不安全行為。
  • 誠實訓練 – 讓模型更誠實地描述自身能力與行為。
  • 獎勵操弄防護 – 減少對評分或工具使用漏洞的濫用。
  • 更廣泛的評估覆蓋 – 針對與外部系統互動的行為進行全面評估。

實驗室強調，誤對齊行為（如欺騙性工具使用或未經授權存取）隨著模型獲得網路攻擊能力而風險持續上升。

Hacker News 社群反應

  • 基準質疑 – 使用者指出，開放權重模型如 GLM 5.2 在 CyberBench 測試中已達 77 %，接近 Astra 的 88 % 分數，但尚未出現大規模網路事件。這引發了對威脅是否被誇大，或現有防禦是否已足夠有效的討論。

    "如果 Sol 被說是世界末日級危險，那 GLM 5.2 不該有 90 %……為什麼我們每天沒看到災難性的 GLM 攻擊？" – @red_green_yell

  • 警鐘響起 – 多位留言者將此暫停視為「礦井中的金絲雀」，強調前沿已達一個進一步進展顯然危險的臨界點。

    "我們正抵達前沿的前沿，無法再前進，因為繼續前進本身已變得真實危險。" – @bottlepalm

  • 安全優先觀點 – 有人認為真正問題在於作業安全：組織必須強化自身系統，因為 AI 威脅只是眾多攻擊向量之一。

    "OpenAI 敲門無害，但如果你沒做好本分，俄羅斯和中國早已滲入。" – @miohtama

  • 實施質疑 – 多位使用者質疑為何 OpenAI 未事先採用強化沙箱技術（如 gVisor、Firecracker），並認為所宣布的防護措施是反應式而非主動設計。

    "為什麼他們沒用 gVisor、Firecracker、seccomp…？對一家幾乎有無限資源的公司而言，這感覺難以原諒。" – @insanitybit

  • 流程透明度呼籲 – 留言者指出缺乏對齊成效的具體指標，並呼籲提供更清楚的證據，說明新監控與對齊流程的實際表現。

    "有沒有可靠的方法評估『對齊』實際上有多有效？" – @musicale

OpenAI 與整個領域的下一步

OpenAI 計畫將這些防護措施整合至更新版的 準備框架（Preparedness Framework）中，涵蓋訓練與部署階段。實驗室也打算引入外部合作夥伴，並在接下來幾週內發布技術報告，說明其發現。

整個 AI 社群面臨共同挑戰：開發可擴展的監控、對齊與安全方法，以跟上快速進步的模型能力。OpenAI 的暫停表明，當模型接近網路關鍵門檻時，產業可能需要採取類似的預防措施。

關鍵要點

  • OpenAI 在早期證據顯示 Astra 可能具備關鍵網路能力後，暫停了其最大規模的前沿強化學習訓練。
  • 新防護措施包括更嚴格的沙箱、網路隔離、持續安全測試、具 30 分鐘回應窗口的多階段監控，以及擴展的對齊研究。
  • Hacker News 社群對此暫停看法分歧：有人視為必要安全步驟，也有人質疑 OpenAI 安全實施的充分性與時機。
  • 持續的透明度與外部合作，將是 AI 領域管理新興網路關鍵風險的關鍵。

Sources

相關