OpenAIの前線AIモデルにおける第三者評価の優先事項と原則

TL;DR

OpenAIは、安全ケースのレビュー、セーフガードの評価、能力および整合性のテスト、整合性のずれ事故の調査の4つの優先評価領域と、第三者評価が独立性、厳密性、実行可能性を備えることを保証する8つの指針を定義するフレームワークを公開しました。

優先領域1 – 安全ケースの独立評価

結論: 独立したレビュー担当者は、訓練、評価、内部展開、外部展開の各段階におけるOpenAIの安全に関する主張を裏付ける証拠を評価する必要があります。

評価者は、整合性、制御手法、サイバーセキュリティ、悪用分野（生物学的、化学的など）に関する専門知識を持つ必要があります。
レビューでは、モデル開発および展開の過程で安全ケースの条件が遵守されたかを確認する必要があります。
評価者は、最も緊急なリスクに安全ケースが対応しているか、またギャップが存在しないかを確認する必要があります。
訓練におけるインセンティブが、欺瞞、ハッキング、制限の回避を奨励する可能性があるかどうかを評価し、そのリスクが適切に軽減されているかを検証する必要があります。

優先領域2 – クリティカルなセーフガードの評価

Conclusion: 第三者によるOpenAIのセーフガードスタック（モデルレベル、実行、セキュリティのセーフガードを含む）の堅牢性を、現実的な条件下でテストする必要があります。

「グレーアクス」アクセスを用いて、評価者は、敵対的攻撃（例：ジャイルブレイク）や、サイバーおよびバイオ分野などの高リスク領域における能力の向上に対してセーフガードを検証する必要があります。
承認されたテストでは、サイバー防御（アクセス制御、サンドボックス、検出および対応システム）との相互作用を検査し、失敗点を特定する必要があります。
レビューでは、整合性のずれ監視のギャップを特定し、モデルの進化に伴う思考の連鎖監視の信頼性を評価する必要があります。
セーフガードは、訓練、評価、展開の各段階で一貫して適用され、モデルの能力に見合った規模でなければなりません。

優先領域3 – 能力および整合性評価の評価

結論: 評価は、準備度リスクカテゴリ（化学、生物学、サイバーセキュリティ、AIの自己改善）および深刻な整合性のずれリスクを継続的にカバーする必要があります。

評価者は、評価の閾値が定義されたリスク閾値と一致しているかを確認し、モデルが既存のベンチマークを超えた場合に閾値を更新する必要があります。
新しいテストは、既存の評価が飽和しているものではなく、高度な能力を意味ある形で測定する必要があります。
整合性評価は、深刻な整合性のずれ行動を捉え、リスクの欠落した次元を明確にする必要があります。

優先領域4 – 重大な整合性のずれ事故の独立調査

結論: 整合性のずれ事故に対する独立したフォレンジック調査は、セーフガードの失敗に関する証拠を提供し、将来の安全ケースの作成に役立ちます。

調査には、サイバー・フォレンジックス、整合性分析、大規模な思考の連鎖の検証、迅速な対応能力に関する専門知識が必要です。
必要に応じて、機密性の高い内部および第三者データへのアクセスが求められる場合があり、適切な機密保持措置が講じられる必要があります。
調査結果は、事故の根本原因を明確にし、既存のセーフガードが同様の将来の出来事に対処できるかどうかを評価する必要があります。

有効な評価のための原則

結論: 評価は範囲が明確で、透明性があり、安全であり、実行可能な提言を生み出す必要があります。

明確な範囲と相互合意された主張 – ラボと評価者双方が安全主張を事前に登録し、評価範囲を定義する。範囲外の項目は、正当な理由とともに文書化される。
適切なアクセス – 評価者は、法的、セキュリティ、知的財産の制約を尊重しつつ、必要な最小限のデータおよびシステムアクセスを提供される。代替的なプライバシー保護メカニズムも許容される。
透明な手法と基準 – 手法、基準、不確実性が完全に開示される。基準が存在しない場合、評価者は選択した指標の根拠を説明する必要がある。
専門性と独立性 – 評価者は関連する技術的専門性を示し、利害関係の衝突を開示する必要がある。報酬構造は評価結果にバイアスをもたらしてはならない。
セキュリティと機密性 – 知的財産および機密データを保護するための堅牢な情報セキュリティ対策が講じられる。必要に応じて、評価は企業所有のデバイス上で実施できる。
実行可能な発見と是正期間 – 報告書は具体的なギャップを特定し、詳細な是正ガイドを提供し、公開前にラボが問題に対処するための合理的な期間を確保する。
責任ある公開 – 報告書は、真正に機密性の高い情報を除き、可能な限りオープンに共有される。赤色化ポリシーは透明であり、重要な削除事項についても明記される。

今後の道筋

結論: OpenAIは、多様な独立した評価者エコシステムを育成し、国際的な安全基準の策定に協力し続ける予定です。

OpenAIは、4つの優先領域におけるより深い評価を支援し、プライベートガバナンスおよび将来の立法を通じて共通基準の改善に取り組むことを約束しています。
単一の評価者では、前線の安全に関するすべての質問をカバーすることは不可能です。協働的で複数の評価者によるアプローチが不可欠です。
複数の第三者組織との継続的な対話により、提案内容が提示された優先事項および原則と整合するよう努めています。

この要約は、2026年9月22日時点でのOpenAIが公開した第三者評価に関する優先事項と原則を反映しています。