OpenAIと米国CAISIおよび英国AISIとのセキュリティ協力

OpenAIは米国AI標準化・イノベーションセンター（CAISI）および英国AIセキュリティ研究所（UK AISI）と提携し、エージェントAIとバイオセキュリティ保護策に対する徹底的なレッドチーミングと脆弱性テストを実施しています。

OpenAIと米国CAISIおよび英国AISIとのセキュリティ協力

OpenAIは、米国AI標準化・イノベーションセンター（CAISI）および英国AIセキュリティ研究所（UK AISI）と自主的なパートナーシップを結び、最先端AIシステムのセキュリティ向上に取り組んでいます。これらの協力は、共同レッドチーミング、エンドツーエンドの製品テスト、そしてエージェントAIとバイオセキュリティ保護策の脆弱性を解決するための迅速なフィードバックループの構築に焦点を当てています。

米国CAISIとのエージェントAIシステムの保護

OpenAIはCAISIと提携し、エージェントAIシステムのセキュリティ評価を行いました。特にChatGPT Agent製品に焦点を当てています。この協力では、サイバーセキュリティとAIエージェントセキュリティの専門家からなる多分野チームが、脆弱性の特定のためにシステムアーキテクチャへの早期アクセスを許可されました。

複雑なエクスプロイトチェーンの発見

CAISIはChatGPT Agentにおいて2つの新規セキュリティ脆弱性を特定しました。当初は利用不可能に見えましたが、CAISIはこれらの従来型ソフトウェア脆弱性とAIエージェントハイジャック攻撃を組み合わせることで、AIベースのセキュリティ保護を回避できることを発見しました。その結果、成功率が約50%の完全なエクスプロイトチェーンが実現しました。

もし成功すれば、これらの攻撃は高度な攻撃者に以下を可能にした可能性があります：

• セッション中にエージェントがアクセスしたコンピュータシステムを遠隔操作する。
• ユーザーがログインしている他のウェブサイトでユーザーになりすます。

OpenAIは、これらの脆弱性が報告後1営業日以内に修正されたと報告しました。

英国AISIによるバイオセキュリティ保護策の強化

5月に、英国AIセキュリティ研究所（UK AISI）は、GPT-5とChatGPT Agentの両方を対象に、バイオロジカルな悪用に対するOpenAIの保護策のレッドチーミングを開始しました。この協力は、単一のリリースに限定せず、保護スタックを継続的に改善することを目的とした継続的な取り組みです。

徹底的なテストのための深いシステムアクセス

徹底的な評価を促進するため、UK AISIには以下を含む非公開リソースへの高レベルアクセスが付与されました：

• 保護システムの非公開プロトタイプ。
• ガードレールが除去された「ヘルプフルオンリー」モデルバリアント。
• バイオロジカルな悪用に関する内部ポリシーガイダンス。
• 内部安全モニターモデルの思考チェーン（CoT）へのアクセス。
• テスト中に緩和策や施行を選択的に無効化する機能。

結果と反復的改善

UK AISIは10件以上の詳細な脆弱性レポートを特定しました。これらの発見は、以下のような複数の改善につながりました：

• エンジニアリング修正: 脆弱性レポートに基づく直接的な製品修正。
• ポリシー施行: ポリシー施行の実装修正。
• ポリシートレーニング: 分類器を改善するための集中トレーニング。
• モニタリングの堅牢性: UK AISIが特定した汎用ジャイルブレイクに対抗するためのモニタリングスタックの改善。
• 設定修正: 悪意あるコンテンツがモデレーションをトリガーせずに抽出または入力され得る設定上の脆弱性の解決。

UK AISIは、完全なモデレーションシステムの保護策が大幅に強化されたと結論付けました。イテレーション期間の終了時点で、汎用的な攻撃を作成するには高度な技術と多数のモデレーションフラグが必要となり、悪意ある行為者はフラグ付けされ、禁止される可能性が高くなります。

公民連携セキュリティパートナーシップの戦略的意味合い

これらの協力は、政府の国家安全保障専門知識と民間AI開発の深い統合モデルを示しています。OpenAIは、これらのパートナーシップが以下のような重要な利点を提供すると指摘しています：

• 国家安全保障の専門知識: 機械学習と計測学における政府の専門知識へのアクセスにより、他者が見落とす可能性のある問題を特定できます。
• 技術的基盤: 実践的な経験により、政府は技術的に根拠のあるベストプラクティスを開発でき、業界全体のセキュリティを加速させます。
• 説明責任と信頼: 外部専門家の分析が、導入されたシステムへの信頼と説明責任を構築します。
• 継続的評価: 継続的な協力は、一度きりの導入前評価よりも大きな価値を提供します。