OpenAI Responses API WebSocket 模式發布

OpenAI 已為 Responses API 引入 WebSocket 支援，以加速代理式工作流程。透過將同步 HTTP 呼叫替換為持久連線，OpenAI 將代理迴圈的端到端延遲降低了最高 40%，讓使用者能夠利用如 GPT-5.3-Codex-Spark 等模型的高速推論。

解決代理式工作流程中的 API 瓶頸

隨著模型推論速度提升，API 服務的開銷——例如請求驗證、處理與網路跳躍——成為代理迴圈的主要瓶頸。在代理式工作流程中，模型可能會執行數十次來回請求，以決定動作、執行工具並處理結果。

先前，旗艦模型如 GPT-5 與 GPT-5.2 的運行速度約為每秒 65 個 token（TPS）。然而，隨著使用專用 Cerebras 硬體的 GPT-5.3-Codex-Spark 推出，目標速度超過每秒 1,000 個 token。在此規模下，將每個請求視為獨立——對每次後續請求重新處理對話狀態與歷史——所累積的開銷產生結構性延遲，抵消了 GPU 的速度提升。

降低延遲的技術最佳化

在實作 WebSocket 之前，OpenAI 於 2025 年 11 月進行了一次效能衝刺，以降低單一請求的關鍵路徑延遲。這些最佳化包括：

  • 記憶體快取：快取已渲染的 token 與模型設定，以避免在多輪回應中進行昂貴的斷詞與網路呼叫。
  • 網路跳躍減少：消除中介服務呼叫（例如影像處理解析度），直接呼叫推論服務。
  • 安全堆疊改進：優化分類器，使其更快速標記對話。

雖然這些變更將首次 token 時間（TTFT）提升了近 45%，但仍不足以滿足最新程式碼模型每秒 1,000+ TPS 的需求。

WebSocket 持久連線的實作

為了消除冗餘工作，OpenAI 從同步 HTTP 請求轉換為持久的 WebSocket 連線。這使得 API 能在連線期間於記憶體中快取可重用的狀態，而非對每個請求重新從頭建立對話上下文。

API 設計與狀態管理

OpenAI 選擇 WebSocket 而非 gRPC 雙向串流，以維持開發者友好的體驗並保留既有的輸入與輸出結構。最終實作允許開發者繼續使用 response.create 並搭配 previous_response_id 參數。

當在 WebSocket 連線中提供 previous_response_id 時，伺服器會從連線範圍的記憶體快取中取得以下項目：

  • 前一個 response 物件。
  • 先前的輸入與輸出項目。
  • 工具定義與命名空間。
  • 可重用的抽樣產物，例如先前渲染的 token。

產生的效能提升

此狀態重用架構帶來多項具體的技術效能提升：

  • 增量處理：安全分類器與請求驗證器僅處理新輸入，而非完整歷史。
  • 斷詞效率：已渲染 token 的記憶體快取會被直接追加，省去不必要的重新斷詞。
  • 路由最佳化：模型解析與路由邏輯在請求間得以重用。
  • 非同步計費：後推論的非阻塞工作（如計費）可與後續請求重疊執行。

生產影響與基準測試

在與程式碼代理新創公司進行 alpha 測試後，WebSocket 模式已推廣至正式環境。結果顯示 Responses API 現在能跟上超高速推論硬體的步伐：

  • 吞吐量：GPT-5.3-Codex-Spark 達到 1,000 TPS 目標，峰值可達每秒 4,000 TPS。
  • Vercel AI SDK：報告的延遲降低最高達 40%。
  • Cline：多檔案工作流程加速了 39%。
  • Cursor：OpenAI 模型的速度提升最高達 30%。
  • 一般採用：Codex 已將大部分 Responses API 流量轉移至 WebSocket 模式，讓使用 GPT-5.3-Codex、GPT-5.4 以及更新模型的使用者受益。

Sources