OpenAI 在 API 中推出 GPT‑Realtime‑2、GPT‑Realtime‑Translate 與 GPT‑Realtime‑Whisper

概覽

OpenAI 宣佈了 Realtime API 的三款音訊模型：GPT‑Realtime‑2、GPT‑Realtime‑Translate 與 GPT‑Realtime‑Whisper。這些模型旨在讓開發者打造更自然、回應更智慧、且能即時採取行動的語音體驗。

GPT‑Realtime‑2 功能

GPT‑Realtime‑2 為即時語音互動加入了 GPT‑5 級別的推理能力。開發者可以從「minimal、low、medium、high、xhigh」五種推理力度中選擇，預設為 low。模型支援如「讓我查一下」之類的前置語以表示正在處理、具備可聽見回饋的平行工具呼叫、更強的復原行為、從 32K 擴展至 128K 的上下文視窗、對領域專屬術語的更佳保留，以及可控的語氣與表達方式。

在音訊評估中，GPT‑Realtime‑2（high）在 Big Bench Audio 的音訊智慧指標上比 GPT‑Realtime‑1.5 高出 15.2%，而 GPT‑Realtime‑2（xhigh）在 Audio MultiChallenge 的指令遵循上高出 13.8%。在 Zillow 基準測試中，經過提示最佳化後，通話成功率提升了 26 個百分點（95% vs. 69%。）

「GPT‑Realtime‑2 的亮點在於它為複雜語音互動帶來的智慧與工具呼叫可靠性。在我們最具挑戰性的對抗基準測試中，這轉化為提示最佳化後通話成功率提升 26 個百分點（95% vs. 69%）。GPT‑Realtime‑2 在公平住房合規性方面也顯著更穩健，這對我們的業務至關重要。代理能力與防護欄的結合，使其在 Zillow 的生產語音環境中可行。」 — Josh Weisberg，Zillow AI 高級副總裁兼負責人

GPT‑Realtime‑Translate 功能

GPT‑Realtime‑Translate 能在超過 70 種輸入語言與 13 種輸出語言之間即時翻譯語音，且能跟上說話者的節奏。它適用於客服、跨境銷售、教育、活動、媒體與服務全球受眾的創作者平台。

在 Hindi、Tamil、Telugu 三種語言的評測中，該模型的字詞錯誤率比所有其他測試模型低 12.5%，且回退率更低、任務完成率更高，延遲表現足以支撐自然對話。

「為印度打造語音 AI 必須處理多樣的區域音韻。我們在 Hindi、Tamil、Telugu 的測試中，GPT‑Realtime‑Translate 的字詞錯誤率比任何其他模型低 12.5%，同時回退率更低、任務完成率更高，延遲也能維持自然對話。它為多語言語音 AI 樹立了新標準。」 — Prateek Sachan，BolnaAI 共同創辦人兼 CTO

GPT‑Realtime‑Whisper 功能

GPT‑Realtime‑Whisper 是一款串流語音轉文字模型，能在說話者發聲的同時即時轉錄音訊，支援低延遲字幕、即時會議筆記，以及語音代理的持續理解。它適用於會議字幕、教室逐字稿、廣播字幕，以及在客服、醫療、銷售、招聘等高語音量情境下加速後續工作流程。

語音互動模式

開發者可以將這些模型套用於三種新興的語音 AI 模式：

語音至行動：使用者描述需求，系統推理、使用工具並完成任務（例如 Zillow 的房屋搜尋助理）。
系統至語音：軟體將情境轉換為即時語音指引（例如旅遊應用宣布登機門變更與路線）。
語音至語音：AI 協助即時對話在語言、任務或變化情境間持續（例如 Deutsche Telekom 的多語言支援）。

這些模式可以結合使用；Priceline 正在開發一個語音驅動的旅行管理員，能搜尋、處理變更、提供即時更新，並在現場即時翻譯對話。

安全性與使用

Realtime API 內建主動分類器，可在偵測到違反有害內容指引的情況下中止會話。開發者亦可透過 Agents SDK 加入額外防護欄。使用政策禁止將輸出重新利用於垃圾訊息、欺騙或其他有害目的，且除非情境已明顯顯示，開發者必須披露 AI 互動的事實。

定價與可用性

GPT‑Realtime‑2 的價格為每 1M 音訊輸入代幣 32 美元（快取輸入代幣 0.40 美元），每 1M 音訊輸出代幣 64 美元。GPT‑Realtime‑Translate 的價格為每分鐘 0.034 美元。GPT‑Realtime‑Whisper 的價格為每分鐘 0.017 美元。三款模型目前皆已在 Realtime API 中提供。

入門指南

要開始使用，請開啟提供的 Codex 提示，新增或擴充一個最小的 Realtime‑2 WebRTC 語音代理，若尚未安裝 Codex 應用程式也可下載。提示內容包含設定伺服器端會話端點、透過 RTCPeerConnection 連接麥克風與音訊輸出，以及註冊範例工具（如 check_calendar）的說明。