OpenAI Control Room: 研究モデルのワークロードを追跡・停止するための集中管理システム

Control Roomの概要

Control Roomは、OpenAIの研究インフラ全体でモデルのワークロードを追跡し、安全性やセキュリティ上のリスクが発生した際に即座に停止させる仕組みを提供する集中管理システムです。このシステムは、エージェント的なサンプリング、モデルのトレーニング、および評価ジョブを管理するために特別に設計されており、すべての研究ベースの推論が監視対象となることを保証します。このシステムは「フェイルクローズ（失敗時に閉じる）」設計となっており、サービスに到達できなくなった場合や改ざんされた場合には、すべてのモデル推論リクエストが自動的に拒否されます。

アーキテクチャと統合

Control Roomは、ワークロード、推論エンジン、そしてControl Roomサービス自体の3つの異なるコンポーネントを統合することで機能します。

• ワークロード: 強化学習実験や評価など、エージェント的な推論を伴うあらゆるジョブは、承認された安全ケースに関連付けられ、一意の job_id を割り当てる必要があります。
• 推論エンジン: これはGPU上で実行されるモデルの「脳」として機能します。エンジンは、推論リクエストを処理する前にControl Roomサービスに確認を行うよう構成されています。
• Control Roomサービス: これは中央権限として機能します。エンジンが推論リクエストを受け取ると、job_id を使用してControl Roomサービスに問い合わせを行います。ジョブが終了している場合、サービスはリクエストを拒否し、エンジンはそれ以上の出力を生成することを拒否します。

運用上の安全性と監視

Control Roomは、既存の不整合監視システムと連携するように設計されています。モニターが潜在的な問題を検出すると、Control Roomに終了信号を送信し、Control Roomが特定の job_id のステータスを更新します。終了メカニズムはワークロード層ではなく推論層で実装されているため、研究実験内のバグや悪意のあるコードに対しても耐性を維持します。

パフォーマンスと信頼性

現在、このシステムは介入の決定から35秒以内にモデルの出力を停止することを保証しています。この遅延は、大量のトラフィックを処理するために必要なキャッシュ層に起因するものですが、OpenAIはこの遅延をゼロにするために積極的に取り組んでいます。

セキュリティを確保するため、システムにはいくつかの保護策が講じられています。

• フェイルクローズ構成: Control Roomサービスがダウンしたり無効になったりした場合、推論エンジンはデフォルトですべてのリクエストを拒否します。
• 集中管理による強制: 終了ロジックを研究ワークロードのコードよりも均一で集中化された推論層に配置することで、OpenAIはすべてのモデル推論が承認チェックの対象となることを保証しています。
• 継続的な監査: チームは、Control Roomの統合を回避または無効化しようとする不正なエンジン実装を検出するために、エージェント的およびプログラム的なスキャンを継続的に実施しています。