OpenAI埋め込み評価フェーズ1の概要

埋め込み評価の概要

OpenAIは、Apollo Research、METR、Transluce、Goodfireという4つの独立した評価機関に対し、内部モデル、トレーニングデータ、監視システムへの深いアクセス権を付与することで、安全性評価の新しいフェーズを開始しました。このプログラムは、モデルの整合性と安全対策の有効性を独立して検証し、同社のより広範な安全性に関する取り組みや、ホワイトハウスの「スーパーインテリジェンスに関する合意」に基づくコミットメントを支援することを目的としています。

パートナー組織と重点分野

各評価機関は、サボタージュ(破壊工作)の検出から解釈可能性、評価の品質に至るまで、それぞれ異なる重点分野をパートナーシップにもたらします。

Apollo Research

Apollo Researchは、モデルが開発者の意図に反して密かに行動できるかどうかを調査します。彼らの評価は、トレーニングがサボタージュを助長しているかどうか、また現在のレッドチーミング技術がそのような行動を検出するのに十分であるかどうかを含む、4つの主要な主張をカバーしています。

Goodfire

Goodfireは、トレーニング実行の監視と整合性に焦点を当てます。解釈可能性の研究者を組み込み、独自のプラットフォームを活用することで、トレーニングプロセス中の安全性を向上させるための実用的な洞察をOpenAIの内部研究チームに提供することを目指しています。

METR

METRは2つの特定の評価を実施しています。1つ目は、OpenAIのこれまでで最大規模の強化学習(RL)実行におけるモデルの整合性に焦点を当て、特に既存の監視システムが見逃した障害を調査します。2つ目は、監視システムのストレステストと制御評価を含む、以前の作業の継続です。

Transluce

Transluceは、OpenAIのトレーニング後の整合性評価の品質と網羅性を評価します。この初期フェーズに続き、2027年初頭には、評価結果がモデルのリリース決定にどのように影響するかに関する情報へのより深いアクセスを含む、より広範な取り組みが行われる予定です。

運用プロトコルとセキュリティ

透明性と機密性の高い知的財産の保護のバランスをとるため、OpenAIはこれらの取り組みに対して特定のプロトコルを確立しました。

  • オンサイト環境: 機密情報へのアクセスを必要とする評価者は、セキュリティ基準が維持されるよう、OpenAIのオフィスで会社が提供するハードウェアを使用して作業する必要があります。
  • 監視: OpenAI Foundation理事会の安全性・セキュリティ委員会(SSC)は、修正されていないレポートへのアクセスを含む、プロセス全体を完全に把握しています。OpenAIと評価者の間の紛争は、最終的な解決のためにSSCにエスカレーションされます。
  • 従業員の関与: 評価者とOpenAIスタッフ間の議論は、率直な意見交換を促進するために非公式に行われます。評価者は、議論中に得た情報を確認または明確にするために、OpenAIに「証明された声明」を要求することができます。
  • 公開: 評価者は報告において独立性を維持しますが、OpenAIは機密情報を編集する権利、および特定されたセキュリティまたは安全性のリスクを修正するために責任ある開示の遅延を要求する権利を保持します。

今後の展望

この埋め込み評価の第1フェーズは、より一貫した長期的な第三者による監視の基盤を確立することを目的としています。OpenAIは、組織文化、内部プロセス、および確立された安全フレームワークへの準拠の評価を含む、より広範な安全性の問題に対処するために、これらの取り組みを拡大する予定です。

Sources