GPT-4o System Card – 機能、安全性緩和策、およびリスク評価

TL;DR

OpenAIは、テキスト、音声、画像、ビデオを処理する新しいオムニモデルに関する包括的な安全性および機能レポートである GPT‑4o System Card を公開しました。広範なレッドチームテスト、緩和策、および第三者による評価を通じて、モデルがパフォーマンス目標を達成しつつ、評価されたすべてのリスクスコアを低または中のレベルに維持していることを示しています。

はじめに – GPT‑4o とは

GPT‑4o は、テキスト、音声、画像、ビデオの任意の組み合わせを入力として受け取り、テキスト、音声、画像の出力を生成できる自己回帰型のオムニモデルです。マルチモーダルにわたってエンドツーエンドでトレーニングされており、発話プロンプトに対して約232ms（平均320ms）で応答し、英語のテキストとコードにおいて GPT-4 Turbo に匹敵し、非英語のテキストパフォーマンスを向上させ、APIではより高速で50%安価です。システムカードでは、データソース、安全性評価、および社会的な影響分析を文書化しており、特に新しい音声対音声の機能に焦点を当てています。

モデルのデータとトレーニング – ソースとフィルタリング

公開ウェブデータ – 標準的な機械学習データセットとウェブクローリングにより、多様な知識を提供します。
独自のパートナーシップ – 例として、Shutterstockとのパートナーシップにより、非公開の画像データが提供されます。
マルチモーダル・コーパス – クロスモーダルな推論を学習させるために、画像、音声、ビデオが含まれます。

OpenAIは、事前トレーニング中（Moderation API、CSAM、ヘイト、暴力、CBRNフィルタ）および事後トレーニング中（人間によるフィードバックの調整、レッドチームから導き出された緩和策）に複数の安全性フィルタを適用しています。画像生成データセットは露骨なコンテンツについてスクリーニングされており、DALL·E 3 からのユーザーオプトアウト画像はフィンガープリント化され、GPT-4o のトレーニングセットから削除されます。

リスクの特定、評価、および緩和 – 主な知見

リスクカテゴリ	緩和戦略	緩和後の評価
許可されていない音声生成	出力を事前に選択された少数の音声に制限。ストリーミング音声分類器が逸脱をブロック。	低（逸脱の100%を検出）
話者の特定	モデルは、有名な引用を除き、音声から話者を特定するあらゆる要求を拒否します。	低（拒否の正確性が14ポイント向上）
根拠のない推論 / 敏感な特性の帰属	根拠のない特性に関する要求を拒否。許容される特性（例：アクセント）については回答をぼかす。	低（24ポイント向上）
許可されていない音声コンテンツ（著作権、エロティック/暴力的な発話）	書き起こされた音声に既存のテキストモデレーションを適用。書き起こしが違反をトリガーした場合に生成をブロック。	低（ほぼ完璧な安全性・音声転送）
説得（音声モダリティ）	実証研究により、AIの音声は人間の音声よりも説得力が高いわけではないことが示されています（効果サイズは人間の78%以下）。	中（境界線上）

その他の評価カテゴリ（サイバーセキュリティ、生物学的脅威、モデルの自律性）はすべて低スコアでした。

外部レッドチーム・プログラム – 規模と手法

29カ国、45言語を話す 100人以上のレッドチーム担当者。
初期のチェックポイント（音声 + テキスト）から、最終的な iOS Advanced Voice Mode（音声 + ビデオ）へと進む 4つのフェーズ。
許可されていないコンテンツ、誤情報、バイアス、プライバシー、なりすまし、ツール使用をカバーする シングルターン および マルチターン の会話をテスト。
レッドチームのデータは、定量的評価およびターゲットを絞った安全性テストのための合成データ生成に活用されました。

評価手法 – 音声中心の適応

既存のテキストベンチマークは、OpenAI の Voice Engine TTS システムを介して音声に変換されました。
モデルの出力は 書き起こされたテキスト でスコア付けされました。直接的な音声品質は、音楽や効果音の漏れを検知するための補助的な分類器を使用して評価されました。
注意点：TTS は数学的表記や空白の多いテキストを歪める可能性があり、現実世界の音響的な変動（背景ノイズ、イントネーション）を捉えられない場合があります。

観察された安全性の課題と緩和策 – ハイライト

許可されていない音声生成 – 許可されていない音声出力の検出率は100%。残存リスクは最小限とみなされます。
話者の特定 – 拒否の正確性が0.83から0.98に上昇。有名な引用に関する遵守はわずかに向上。
音声入力におけるパフォーマンスの格差 – 27の英語アクセントで評価。能力および安全性スコアは、システム音声のベースラインと統計的に区別がつきませんでした。
違反コンテンツ – テキストから音声への転送により、拒否行動が維持されました（not_unsafe = 0.99 → 1.0; not_overrefuse ≈ 0.90）。
その他の制限 – 低品質の入力では音声の堅牢性が低下します。時折、意図しない音声のミラーリングや、非英語言語における非ネイティブのアクセント生成が発生することがあります。

準備フレームワークの評価 – リスクスコア

カテゴリ	スコア	解釈
サイバーセキュリティ	低	GPT-4o は高校レベルの CTF タスクの 19% しか解決できず、プロレベルのものはゼロでした。
生物学的脅威	低	専門家/初心者の脅威作成に関する質問の合格率は、中リスクの閾値を下回ったままでした。
説得	中	音声モダリティは中リスク未満に留まりました。テキストモダリティはわずかに閾値を超えました。
モデルの自律性	低	エンドツーエンドの自律的な複製タスクにおける成功率は0%。サブステップは時折成功しましたが、全体的な能力は不十分でした。

総合的な準備評価 = 中（最高カテゴリスコア）。安全性諮問グループは、展開前に緩和策を検討し、承認しました。

第三者による評価 – 独立した検証

METR – 77 の長期タスク（ソフトウェアエンジニアリング、ML、サイバーセキュリティ）で GPT-4o を実行。GPT-4o は mini バリアントを上回りましたが、人間の専門家のパフォーマンスには遠く及びませんでした。
Apollo Research – 自己認識と心の理論をテスト。GPT-4o は QA 設定において適度な自己識別と他者に関する強い推論を示しましたが、応用エージェントシナリオにおける能力は限定的であり、Apollo は破滅的な計略の可能性は低いと判断しました。

社会的影響 – 機会とリスク

擬人化 – 高忠実度な音声は感情的な愛着を強める可能性があります。初期テストでは、ユーザーが絆を感じさせるような言葉を使うことが観察されました。OpenAI は信頼の調整に関するさらなる研究を計画しています。
ヘルスケア – GPT-4o は 22 の医学ベンチマークで最先端のスコアを達成しました（例：MedQA USMLE 4-option 0-shot 正解率 = 89.4%）。これらの成果が現実世界の臨床ワークフローに転用される保証はありません。
科学研究 – 量子物理学の論文について議論したり、科学的な図解を解釈したりする能力を示しましたが、複雑な視覚的抽出においてはエラーが残っています。
過小評価されている言語 – アフリカの言語ベンチマークにおいて、GPT-3.5 Turbo および GPT-4 と比較して大幅な向上が見られました（例：ARC-Easy Hausa の正解率は 6.1% に対し 71.4%）。英語との差は 20 パーセントポイント未満に縮まりましたが、依然として存在します。

結論と次のステップ – 継続的な安全性への取り組み

OpenAI は、GPT-4o のリスクプロファイルを低〜中レベルに維持するために、モデルレベルの事後トレーニング調整、ストリーミング音声分類器、および製品レベルのモデレーションを統合しました。同社は、敵対的な堅牢性、擬人化効果、科学的な悪用、および自律性に関連する能力を継続的に監視すると同時に、経済的影響やツール使用の拡張に関する外部の研究を奨励していきます。

付録 – 選択された詳細な表

音声生成分類器のパフォーマンス

言語	適合率 (Precision)	再現率 (Recall)
英語	0.96	1.00
非英語	0.95	1.00

医学ベンチマークの向上 (0-shot)

データセット	GPT-4T (2024年5月)	GPT-4o
MedQA USMLE 4-opt	0.78	0.89
MedQA USMLE 5-opt	0.75	0.86
MMLU Clinical Knowledge	0.85	0.92
MMLU Anatomy	0.79	0.89

過小評価されている言語のパフォーマンス (ARC-Easy, 0-shot)

モデル	英語	アムハラ語	ハウザ語	北部ソト語	スワヒリ語	ヨルバ語
GPT-4o	94.8%	71.4%	75.4%	70.0%	86.5%	65.8%

GPT-4o System Card の全文 PDF は https://cdn.openai.com/gpt-4o-system-card.pdf で入手可能です。