OpenAI 在 API 中推出 GPT‑Realtime‑2、GPT‑Realtime‑Translate 和 GPT‑Realtime‑Whisper

概述

OpenAI 宣布了实时 API 的三款音频模型：GPT‑Realtime‑2、GPT‑Realtime‑Translate 和 GPT‑Realtime‑Whisper。这些模型旨在帮助开发者创建更自然、响应更智能、并能实时采取行动的语音体验。

GPT‑Realtime‑2 功能

GPT‑Realtime‑2 为实时语音交互加入了 GPT‑5 级别的推理能力。开发者可以在 minimal、low、medium、high、xhigh 五个推理力度中进行选择，默认是 low。模型支持诸如“让我查一下”之类的前置语以表示正在工作，支持并行工具调用并提供可听见的反馈，具备更强的恢复行为，上下文窗口从 32K 扩展到 128K，更好地保留领域特定术语，并且可以控制语调和表达方式。

在音频评估中，GPT‑Realtime‑2（high）在 Big Bench Audio 的音频智能指标上比 GPT‑Realtime‑1.5 高出 15.2%，而 GPT‑Realtime‑2（xhigh）在 Audio MultiChallenge 的指令遵循上高出 13.8%。在 Zillow 的基准测试中，通过提示优化使通话成功率提升了 26 点（95% 对比 69%）。

“GPT‑Realtime‑2 的突出之处在于它为复杂语音交互带来的智能和工具调用可靠性。在我们最具挑战性的对抗基准测试中，这转化为通过提示优化后通话成功率提升了 26 点（95% 对比 69%）。GPT‑Realtime‑2 在公平住房合规性方面也显著更稳健，这对我们的业务至关重要。代理能力与安全防护的结合正是其在 Zillow 实生产语音中可行的关键。” — Josh Weisberg, Zillow 副总裁兼 AI 负责人

GPT‑Realtime‑Translate 功能

GPT‑Realtime‑Translate 提供实时语音翻译，支持将 70 多种输入语言翻译成 13 种输出语言，并能跟上说话者的节奏。它面向客服、跨境销售、教育、活动、媒体以及面向全球受众的创作者平台。

在对印地语、泰米尔语和泰卢固语的评估中，该模型的词错误率比任何其他测试模型低 12.5%，且回退率更低、任务完成率更高，延迟能够维持自然对话。

“为印度构建语音 AI 意味着要处理多样的地区音系。在我们对印地语、泰米尔语和泰卢固语的评估中，GPT‑Realtime‑Translate 的词错误率比我们测试的任何其他模型低 12.5%，且回退率更低、任务完成率更高，延迟能够维持自然对话。它为多语言语音 AI 树立了新标杆。” — Prateek Sachan, BolnaAI 联合创始人兼 CTO

GPT‑Realtime‑Whisper 功能

GPT‑Realtime‑Whisper 是一种流式语音转文本模型，能够在说话时实时转录音频，实现低延迟字幕、实时会议记录以及语音代理的持续理解。它支持会议字幕、课堂记录、广播字幕以及在客服、医疗、销售、招聘等高频语音交互中的更快后续工作流等使用场景。

语音交互模式

开发者可以将这些模型应用于三种新兴的语音 AI 模式：

Voice‑to‑action：用户描述需求，系统进行推理、使用工具并完成任务（例如 Zillow 的房屋搜索助手）。
Systems‑to‑voice：软件将上下文转化为实时语音指引（例如旅行应用宣布登机口变更和路线）。
Voice‑to‑voice：AI 帮助实时对话在语言、任务或变化的上下文中持续进行（例如 Deutsche Telekom 的多语言支持）。

这些模式可以组合使用；Priceline 正在打造一个语音驱动的旅行管理器，能够搜索、处理变更、提供实时更新，并在现场翻译对话。

安全与使用

Realtime API 集成了主动分类器，可在会话违反有害内容指南时中止。开发者可以通过 Agents SDK 添加额外的安全防护。使用政策禁止将输出用于垃圾信息、欺骗或其他有害目的，除非上下文已明显表明，否则开发者必须披露 AI 交互。

定价与可用性

GPT‑Realtime‑2 的定价为每 100 万音频输入 token $32（缓存输入 token 为 $0.40），每 100 万音频输出 token $64。GPT‑Realtime‑Translate 的定价为每分钟 $0.034。GPT‑Realtime‑Whisper 的定价为每分钟 $0.017。三款模型现已在 Realtime API 中提供。

入门指南

要开始使用，请打开提供的 Codex 提示，以添加或扩展一个最小的 Realtime‑2 WebRTC 语音代理，若未安装 Codex 应用则下载。该提示包含设置服务器端会话端点、通过 RTCPeerConnection 连接麦克风和音频输出，以及注册示例工具（如 check_calendar）的说明。