OpenAI リアルタイム API リリース

OpenAIはリアルタイム API をパブリックベータで導入し、有料開発者が低遅延・マルチモーダルな音声対音声会話をアプリケーションに統合できるようにしました。この API は、文字起こし、推論、音声合成のために複数のモデルを組み合わせる必要をなくし、単一の API 呼び出しで自然な会話体験を実現します。

技術アーキテクチャとワークフロー

リアルタイム API は、従来の3段階パイプライン（Whisper などのモデルによる自動音声認識（ASR）、推論用のテキストベース LLM、テキスト音声合成（TTS）モデル）を直接ストリーミング方式に置き換えます。音声入力と出力を直接ストリーミングすることで、API は遅延を削減し、テキストベースの文字起こしで失われがちな感情のニュアンス、強調、アクセントを保持します。

主な技術的特徴は次のとおりです：

  • Persistent WebSocket Connection: API は WebSocket を利用して GPT-4o とリアルタイムにメッセージをやり取りします。
  • Automatic Interruption Handling: システムはユーザーの割り込みを自動的に処理でき、ChatGPT の Advanced Voice Mode の動作を模倣します。
  • Function Calling: API は関数呼び出しをサポートし、音声アシスタントが外部アクションをトリガーしたり、注文の実行や顧客データへのアクセスなどリアルタイムのコンテキストを取得できるようにします。

モデルの利用可能性と API オプション

OpenAI は、アプリケーションの遅延要件に応じて、音声統合のための 2 つの異なるパスを提供します：

  1. Realtime API: gpt-4o-realtime-preview モデルで動作し、高速で自然な会話向けに設計されています。
  2. Chat Completions API: gpt-4o-audio-preview モデルで動作し、開発者はテキストまたは音声入力を渡し、テキスト、音声、またはその両方で応答を受け取れます。これは、リアルタイム API の極端な低遅延の利点を必要としないユースケース向けです。

価格設定とトークン化

リアルタイム API と Chat Completions の音声機能は、テキストと音声トークンに基づく統一された価格構造を使用します。

入力タイプ 1M トークンあたりの価格 1分あたりの概算コスト
Text Input $5.00 N/A
Text Output $20.00 N/A
Audio Input $100.00 ~$0.06
Audio Output $200.00 ~$0.24

さらに、テキストと音声入力に対してキャッシュ価格が利用可能で、1M キャッシュテキスト入力トークンあたり $2.50、1M キャッシュ音声入力トークンあたり $20 にコストが削減されます。

安全性、プライバシー、コンプライアンス

リアルタイム API は、ChatGPT の Advanced Voice Mode で使用されているのと同じ GPT-4o バージョンを基盤とし、同様の音声安全インフラを組み込んでいます。安全対策は以下のとおりです：

  • Automated Monitoring: フラグが付けられた入力と出力を継続的に監視し、人間がレビューして悪用を緩和します。
  • uma Preparedness Framework: OpenAI の Preparedness Framework に従って評価が行われ、GPT-4o System Card に詳細が記載されています。
  • Red Teaming: 外部のレッドチーミングにより、API が既存の緩和策を超える高リスクのギャップを生じさせないことが確認されました。
  • Privacy Commitments: エンタープライズのプライバシーコミットメントに基づき、OpenAI は明示的な許可なしに本サービスの入力や出力でモデルを学習しません。

統合とエコシステム

展開を容易にするため、OpenAI は複数のインフラパートナーと協力しています：

  • LiveKit and Agora: サウンドアイソレーション、エコーキャンセル、再接続などの音声コンポーネント用クライアントライブラリを提供しました。
  • Twilio: Twilio の Voice API とリアルタイム API を統合し、AI エージェントを従来の音声通話で顧客に接続しました。

今後のロードマップ

OpenAI は、一般提供に向けてリアルタイム API の機能拡張を計画しており、以下を含みます：

  • Additional Modalities: 将来的にビジョンとビデオのサポートを追加予定です。
  • Increased Rate Limits: 現在の Tier 5 の 100 セッション上限を超えて同時セッション数を拡大します。
  • Official SDK Support: 公式 OpenAI Python および Node.js SDK への統合。
  • Expanded Model Support: 今後のバージョンに GPT-4o mini を統合します。

Sources