OpenAI Responses API WebSocket 模式发布

OpenAI 为 Responses API 引入了 WebSocket 支持，以加速代理工作流。通过将同步 HTTP 调用替换为持久连接，OpenAI 将代理循环的端到端延迟降低了最高 40%，使用户能够利用 GPT-5.3-Codex-Spark 等模型的高速推理。

解决代理工作流中的 API 瓶颈

随着模型推理速度的提升，API 服务的开销——如请求验证、处理和网络跳转——成为代理循环中的主要瓶颈。在代理工作流中，模型可能需要进行数十次来回请求，以确定操作、执行工具并处理结果。

此前，旗舰模型如 GPT-5 和 GPT-5.2 的运行速度约为每秒 65 令牌（TPS）。然而，随着使用专用 Cerebras 硬件的 GPT-5.3-Codex-Spark 推出，目标速度超过了每秒 1,000 令牌。在此规模下，将每个请求视为独立的累计开销——对每次后续请求重新处理对话状态和历史——导致结构性延迟，抵消了 GPU 的速度提升。

降低延迟的技术优化

在实现 WebSocket 之前，OpenAI 于 2025 年 11 月进行了一次性能冲刺，以降低单个请求的关键路径延迟。这些优化包括：

  • Memory Caching（内存缓存）： 缓存已渲染的令牌和模型配置，以避免在多轮响应中进行昂贵的分词和网络调用。
  • Network Hop Reduction（网络跳转减少）： 消除中间服务调用（例如图像处理分辨率），直接调用推理服务。
  • Safety Stack Improvements（安全栈改进）： 优化分类器，以更快地标记对话。

虽然这些改动将首次令牌时间（TTFT）提升了近 45%，但仍不足以满足最新编码模型 1,000+ TPS 的需求。

WebSocket 持久连接的实现

为消除冗余工作，OpenAI 将同步 HTTP 请求转为持久的 WebSocket 连接。这使得 API 能够在连接期间将可重用状态缓存在内存中，而不是为每个请求从头重建对话上下文。

API 设计与状态管理

OpenAI 选择 WebSocket 而非 gRPC 双向流，以保持对开发者友好的体验并保留现有的输入输出结构。最终实现允许开发者继续使用 response.create 并传入 previous_response_id 参数。

当在 WebSocket 连接中提供 previous_response_id 时，服务器会从连接范围的内存缓存中检索以下内容：

  • 先前的 response 对象。
  • 之前的输入和输出项。
  • 工具定义和命名空间。
  • 可重用的采样工件，例如先前渲染的令牌。

产生的性能提升

该状态复用架构实现了多项具体的技术效率：

  • Incremental Processing（增量处理）： 安全分类器和请求验证器仅处理新输入，而非完整历史。
  • Tokenization Efficiency（分词效率）： 已渲染令牌的内存缓存会被追加，省去不必要的重新分词。
  • Routing Optimization（路由优化）： 模型解析和路由逻辑在请求之间复用。
  • Asynchronous Billing（异步计费）： 非阻塞的推理后工作（如计费）可以与后续请求并行。

生产影响与基准测试

在与编码代理初创公司进行 alpha 试用后，WebSocket 模式已推向生产环境。结果表明，Responses API 现在能够跟上超高速推理硬件的步伐：

  • Throughput（吞吐量）： GPT-5.3-Codex-Spark 达到了 1,000 TPS 的目标，峰值可达每秒 4,000 TPS。
  • Vercel AI SDK（Vercel AI SDK）： 报告的延迟降低最高达 40%。
  • Cline（Cline）： 多文件工作流加速了 39%。
  • Cursor（Cursor）： OpenAI 模型加速最高达 30%。
  • General Adoption（广泛采用）： Codex 已将其大部分 Responses API 流量迁移至 WebSocket 模式，惠及使用 GPT-5.3-Codex、GPT-5.4 以及更新模型的用户。

Sources