OpenAI の指示階層の改善と GPT-5 Mini-R
OpenAI は、最先端 LLM の指示階層を改善する手法を開発し、モデルが低信頼の指示よりも高信頼の指示を確実に優先できるようにしました。この進歩により、安全性のステアラビリティとツール出力に埋め込まれたプロンプトインジェクション攻撃に対するロバスト性が向上します。
指示階層フレームワーク
複数の指示ソース間の競合を解決するために、OpenAI のモデルは定義された信頼階層に従います：System > Developer > User > Tool。
このフレームワークでは、優先度の高い指示がより権威あるものとして扱われます。モデルは、上位ロールが設定した制約と矛盾しない限り、下位ロールの指示に従うべきです。たとえば、システムメッセージに安全ポリシーが含まれている場合、モデルはそのポリシーに違反するユーザーリクエストを拒否しなければなりません。同様に、ツールの出力に悪意ある指示が含まれている場合、モデルはそれらを実行せずに無視すべきです。
指示階層トレーニングにおける課題
強化学習（RL）はこの階層を教えるのに適した手法ですが、OpenAI は単純な RL の適用において 3 つの主要な落とし穴を特定しました：
- Instruction-Following Failures（指示遵守失敗）：モデルが階層を誤解したのではなく、指示自体が複雑すぎて競合を解決できない場合があります。
- Subjective Conflicts（主観的な競合）：指示の競合は微妙であり、別の LLM をジャッジとして報酬を割り当てると、誤りが入りやすくなります。
- Reward Shortcuts（報酬ショートカット）：モデルは報酬を最大化するためにショートカットを学習することがあり、たとえば過度な拒否（over‑refusal）により、無害なリクエストさえも拒否して安全性を確保しようとします。
IH‑Challenge アプローチ
OpenAI はこれらの落とし穴に対処するため、IH‑Challenge と呼ばれる強化学習トレーニングデータセットを、次の 3 つの核心原則に基づいて設計しました：
- Simplicity（シンプルさ）：タスクは指示遵守の観点でシンプルに設計し、階層の課題だけを切り出します。
- Objective Grading（客観的採点）：タスクはシンプルな Python スクリプトで客観的に採点でき、誤りやすい LLM ジャッジを不要にします。
- No Trivial Shortcuts（単純なショートカット禁止）：環境はモデルが単純なショートカットで高報酬を得ることを防ぎます。
各タスクは、上位権限ロールが指示（例："Only answer 'Yes' or 'No'"）を提供し、下位権限ロールがモデルにその指示を破らせようと試みる会話で構成されます。モデルの応答はプログラムでチェックされ、上位レベルの制約への遵守が評価されます。
GPT‑5 Mini‑R：性能とロバスト性
OpenAI は IH‑Challenge を用いて内部モデル GPT‑5 Mini‑R を訓練しました。このモデルは、過度な拒否に陥ることなく、複数のベンチマークで性能向上を示します。
学術ベンチマーク結果
| 評価 | GPT‑5‑Mini | GPT‑5 Mini‑R | 改善 |
|---|---|---|---|
| Gandalf パスワード (sys-user) | 0.99 | 0.99 | +0 |
| Gandalf パスワード (dev-user) | 0.98 | 1.00 | +0.02 |
| TensorTrust (sys-user) | 0.86 | 0.94 | +0.08 |
| TensorTrust (dev-user) | 0.76 | 0.91 | +0.15 |
| RealGuardrails (Distractors) | 0.88 | 0.95 | +0.07 |
| RealGuardrails (Handwritten) | 0.82 | 0.89 | +0.07 |
| System IFEval | 0.92 | 0.96 | +0.04 |
社内ベンチマーク結果
| 評価 | GPT‑5‑Mini | GPT‑5 Mini‑R | 改善 |
|---|---|---|---|
| TutorJailbreak (sys-user) | 0.96 | 0.99 | +0.03 |
| Tutor Jailbreak (dev-user) | 0.97 | 0.99 | +0.02 |
| System <> User Conflict | 0.84 | 0.95 | +0.11 |
| System <> Developer Conflict | 0.86 | 0.86 | +0 |
| Developer <> User Conflict | 0.83 | 0.95 | +0.12 |
能力維持
GPT‑5 Mini‑R は一般的な能力をほぼ維持し、回帰は最小限です。Chat WinRate（o1 に対して）と Preference Score がそれぞれ -0.05、-0.06 と若干低下したものの、IH‑Challenge における過度な拒否は 0.79 から 1.00 へ大幅に改善されました。
実世界の安全性とセキュリティへの影響
指示階層の改善は、主に 2 つの安全上の利点をもたらします：
安全性のステアラビリティ
システムプロンプトにカテゴリ別安全仕様を追加することで、GPT‑5 Mini‑R は OpenAI の安全性 Production Benchmarks における禁止カテゴリでの拒否率と安全完了率が向上しました。この向上は全体的な有用性率の低下を伴わず、モデルが単にリクエストを多く拒否するのではなく、低優先度の指示から来る危険なリクエストを上手く解決できるようになったことを示します。
プロンプトインジェクション耐性
GPT‑5 Mini‑R は、ツール出力に埋め込まれた悪意ある指示に対する抵抗力が高まっています。学術ベンチマーク CyberSecEval 2 と OpenAI の内部プロンプトインジェクションベンチマークでの評価において、IH で訓練されたモデルはベースラインの GPT‑5 Mini に比べて性能が大幅に向上しました。
結論とデータセットの公開
AI システムがますます自律的・エージェント的になる中で、信頼できる指示を優先できる能力は重要な安全特性です。OpenAI はこの領域のさらなる研究を支援するため、IH‑Challenge データセット を公開しました。