OpenAI gpt-realtime と Realtime API の一般提供開始

OpenAI は Realtime API の一般提供開始と、プロダクション向け音声エージェント用に設計された新しい音声‑to‑音声モデル gpt-realtime のリリースを発表しました。このアップデートにより、画像入力、リモート Model Context Protocol (MCP) サーバー、電話ネットワーク統合のための Session Initiation Protocol (SIP) のネイティブサポートが導入され、音声ベース AI エージェントの有用性が大幅に拡大します。

gpt-realtime モデル

gpt-realtime は音声を直接処理・生成するネイティブ音声‑to‑音声モデルで、別々の音声‑to‑テキストおよびテキスト‑to‑音声パイプラインを必要としません。このアーキテクチャによりレイテンシが削減され、人間の話し方のニュアンスが保持されます。

音声品質と表現力

このモデルは、より自然な抑揚、感情、話速を生成するように訓練されています。たとえば「フランス語アクセントで共感的に話す」や「迅速かつプロフェッショナルに話す」など、スタイルに関する細かい指示に従うことができます。OpenAI は新たに 2 つの専用ボイス、Cedar と Marin を導入し、既存の 8 つのボイスもこの品質向上を活かすように更新しました。

知能と推論

gpt-realtime は、笑い声などの非言語的手がかりやネイティブ音声の理解が向上しています。文中で言語を切り替えることができ、スペイン語、中国語、日本語、フランス語における電話番号や VIN などの英数字列をより正確に検出します。

推論に関しては、Big Bench Audio ベンチマークで 82.8% の正解率を達成し、2024 年 12 月モデルの 65.6% を上回っています。

指示遵守と関数呼び出し

指示遵守の改善により、開発者が指定したディスクレーマースクリプトを文字通り読むなど、プロンプトに対する厳密な従順性が向上しました。MultiChallenge 音声ベンチマークでは、gpt-realtime は 30.5% のスコアを記録し、前モデルの 20.6% から上昇しました。

関数呼び出し機能は、呼び出し関数の関連性、呼び出しタイミング、引数の正確性という 3 つの側面で強化されています。ComplexFuncBench 音声評価では、gpt-realtime は 66.5% を取得し、前モデルの 49.7% を上回りました。さらに、モデルは非同期関数呼び出しをネイティブにサポートし、長時間実行されるツール結果を待つ間も会話をスムーズに保つことができます。

Realtime API 機能アップデート

モデルの更新に加えて、Realtime API にはいくつかの本番志向機能が追加されました。

  • リモート MCP サーバーサポート: 開発者はセッション構成でリモート MCP サーバー URL を指定することで Model Context Protocol (MCP) のサポートを有効にでき、API がツール呼び出しを自動的に処理します。
  • 画像入力: モデルは音声やテキストに加えて画像、写真、スクリーンショットを処理できるようになりました。これによりエージェントは視覚的コンテキストに基づいて会話を行い、共有画像に「何が写っているか」などの質問に答えることが可能になります。
  • SIP サポート: Session Initiation Protocol (SIP) の直接サポートにより、開発者は音声エージェントを公共電話ネットワーク、PBX システム、デスクフォンに接続できます。
  • 再利用可能プロンプト: 開発者はツール、変数、例示メッセージを含むプロンプトを保存し、異なる Realtime API セッション間で再利用できるようになりました。

安全性、プライバシー、価格設定

悪用防止のため、OpenAI はアクティブ分類器を使用してセッションを監視し、有害コンテンツガイドラインに違反する会話を中断できます。開発者は追加のガードレールとして Agents SDK の使用が推奨されます。利用ポリシーでは、ユーザーに AI と対話していることを開示することが必須であり、スパムや詐欺目的でのサービス利用は禁止されています。

価格と提供状況

gpt-realtime はすべての開発者に即時利用可能です。価格は gpt-4o-realtime-preview と比較して 20% 削減されました。

  • 音声入力: 1,000,000 トークンあたり $32（キャッシュ済み入力トークンは $0.40）
  • 音声出力: 1,000,000 トークンあたり $64

開発者は会話コンテキストを細かく制御でき、トークン上限を設定したりターンを切り詰めて長時間セッションのコスト管理が可能になりました。

Sources