OpenAI GPT-4o リリースノート
OpenAIはGPT-4o（「omni」）を導入しました。これは、テキスト、音声、画像、動画の入力を処理し、テキスト、音声、画像の出力を単一のニューラルネットワークで生成することで、より自然なヒューマン・コンピュータ相互作用を実現するマルチモーダルモデルです。GPT-4oは人間の会話に匹敵する応答時間を実現します。
エンドツーエンドのマルチモーダルアーキテクチャ
GPT-4oは、従来のボイスモードで使用されていたマルチモデルパイプラインを単一のエンドツーエンドニューラルネットワークに置き換えました。以前は、ボイスモードは音声からテキストへの文字起こしモデル、テキスト処理（GPT-3.5またはGPT-4）モデル、テキストから音声への変換モデルの3つの別々のモデルに依存していました。このパイプラインは、コアインテリジェンスモデルがトーン、背景ノイズ、複数話者を直接観測できず、感情、歌唱、笑いを出力できないという情報損失を大きく引き起こしていました。
テキスト、ビジョン、オーディオを横断して単一モデルを訓練することで、GPT-4oはすべての入力と出力を同じネットワーク内で処理し、別々のモデルに伴うパイプライン遅延と情報損失を排除します。
パフォーマンスとレイテンシ
GPT-4oは、英語のテキストとコードにおいてGPT-4 Turboと同等の性能を示すと同時に、非英語言語処理、ビジョン、音声理解において大幅な改善を提供します。
応答速度
GPT-4oは音声入力に対して最短で232ミリ秒、平均で320ミリ秒で応答できます。これは、従来のボイスモード（GPT-3.5で平均2.8秒、GPT-4で5.4秒）に比べて遅延が大幅に削減されたものです。
多言語トークナイゼーション
GPT-4oは新しいトークナイザーを採用し、さまざまな言語族で圧縮率を大幅に向上させました。トークン削減の例は以下の通りです：
- Gujarati: 4.4x のトークン削減
- Telugu: 3.5x のトークン削減
- Tamil: 3.3x のトークン削減
- Marathi: 2.9x のトークン削減
- Hindi: 2.9x のトークン削減
- Arabic: 2.0x のトークン削減
- Russian: 1.7x のトークン削減
- Korean: 1.7x のトークン削減
- Chinese: 1.4x のトークン削減
- Japanese: 1.4x のトークン削減
- English: 1.1x のトークン削減
安全性とリスク評価
GPT-4oは、トレーニングデータのフィルタリングとトレーニング後の行動調整を通じて、設計段階から安全性を組み込んでいます。OpenAIは音声出力専用の新しい安全システムを実装し、誤情報、バイアス、社会心理学などの分野で70人以上の専門家による外部レッドチーミングを実施しました。
リスクスコアカード
OpenAIのPreparedness Frameworkによると、GPT-4oはどのカテゴリでも「中」リスクを超えるスコアを付けられていません。緩和前後のリスクレベルは以下の通りです：
| カテゴリ | 緩和前リスク | 緩和後リスク |
|---|---|---|
| サイバーセキュリティ | Low | Low |
| CBRN | Low | Low |
| 誘導 | Medium | Medium |
| モデル自律性 | Low | Low |
利用可能性と API 料金
GPT-4oはChatGPTの無料ユーザーとPlusユーザーの両方で利用可能で、Plusユーザーはメッセージ上限が最大5倍に拡大されます。開発者向けには、テキストとビジョンモデルとしてAPIで提供され、GPT-4 Turboに対して以下の改善があります：
- 速度: 2倍速い
- コスト: 50% 安い（価格の半額）
- レートリミット: 5倍高いレートリミット
音声および動画機能は、信頼できるパートナーとChatGPT Plusアルファユーザーに対して数週間以内に段階的にロールアウトされます。
Sources
- OriginalHello GPT-4o