OpenAI Responses API WebSocket モード リリース

OpenAI は、Responses API に WebSocket サポートを導入し、エージェントワークフローを高速化しました。同期的な HTTP 呼び出しを永続的な接続に置き換えることで、エージェントループのエンドツーエンド遅延を最大 40% 削減し、GPT-5.3-Codex-Spark などの高速推論モデルを活用できるようになりました。

エージェントワークフローにおける API ボトルネックの解消

モデルの推論速度が向上するにつれて、リクエスト検証、処理、ネットワークホップといった API サービスのオーバーヘッドがエージェントループの主要なボトルネックとなります。エージェントワークフローでは、モデルがアクションの決定、ツールの実行、結果の処理のために何十回もの往復リクエストを行うことがあります。

従来、GPT-5 や GPT-5.2 といったフラッグシップモデルは約 65 トークン/秒（TPS）で動作していました。しかし、Cerebras 専用ハードウェアを活用した GPT-5.3-Codex-Spark のリリースにより、目標速度は 1,000 TPS 超に設定されました。この規模になると、各リクエストを独立したものとして扱い、会話状態や履歴を毎回再処理するという累積的なオーバーヘッドが、GPU の速度向上を相殺する構造的遅延を生み出していました。

遅延削減のための技術的最適化

WebSocket を実装する前に、OpenAI は 2025 年 11 月に単一リクエストのクリティカルパス遅延を削減するパフォーマンススプリントを実施しました。主な最適化は以下の通りです。

  • メモリキャッシュ: レンダリング済みトークンとモデル設定をキャッシュし、マルチターン応答での高コストなトークナイズやネットワーク呼び出しを回避。
  • ネットワークホップ削減: 中間サービス呼び出し（例: 画像処理解像度）を排除し、推論サービスへ直接呼び出し。
  • セーフティスタック改善: 分類器を最適化し、会話のフラグ付けをより迅速に。

これらの変更により、最初のトークンまでの時間（TTFT）は約 45% 改善されましたが、最新のコーディングモデルが要求する 1,000+ TPS には依然として不足していました。

WebSocket 永続接続の実装

冗長な作業を排除するため、OpenAI は同期 HTTP リクエストから永続的な WebSocket 接続へ移行しました。これにより、API は接続期間中に再利用可能な状態をメモリにキャッシュでき、各リクエストごとに会話コンテキストをゼロから再構築する必要がなくなります。

API 設計と状態管理

OpenAI は、開発者に優しい体験を維持し、既存の入力・出力フォーマットを保つために gRPC 双方向ストリーミングではなく WebSocket を選択しました。最終実装では、開発者は response.create と previous_response_id パラメータを引き続き使用できます。

WebSocket 接続上で previous_response_id が提供されると、サーバーは接続スコープのインメモリキャッシュから以下を取得します。

  • 前回の response オブジェクト。
  • 以前の入力および出力項目。
  • ツール定義と名前空間。
  • 以前にレンダリングされたトークンなど、再利用可能なサンプリングアーティファクト。

得られたパフォーマンス向上

この状態再利用アーキテクチャにより、以下の具体的な技術的効率が実現します。

  • インクリメンタル処理: セーフティ分類器とリクエストバリデータは、全履歴ではなく新規入力のみを処理。
  • トークナイズ効率: メモリ内キャッシュされたレンダリング済みトークンに追記するだけで、不要な再トークナイズを回避。
  • ルーティング最適化: モデル解決とルーティングロジックがリクエスト間で再利用。
  • 非同期課金: 請求などの推論後処理をブロックせずに実行でき、次のリクエストと重ね合わせ可能。

本番への影響とベンチマーク

コーディングエージェントスタートアップとのアルファ期間を経て、WebSocket モードは本番環境へ展開されました。その結果、Responses API は超高速推論ハードウェアに追随できることが実証されました。

  • スループット: GPT-5.3-Codex-Spark は 1,000 TPS の目標を達成し、バースト時には最大 4,000 TPS に到達。
  • Vercel AI SDK: レイテンシが最大 40% 減少。
  • Cline: マルチファイルワークフローが 39% 高速化。
  • Cursor: OpenAI モデルが最大 30% 高速化。
  • 一般的な採用: Codex は Responses API トラフィックの大半を WebSocket モードに移行し、GPT-5.3-Codex、GPT-5.4、以降のモデル利用者に恩恵をもたらしています。

Sources