OpenAIサイバーセキュリティ助成金プログラム：AI主導の防御研究を支援

LLMの信頼性とモデルセキュリティ

モデル自体のセキュリティに関する研究は、助成金プログラムの主要な焦点です。主なプロジェクトは以下の通りです：

Prompt-Injection Defense: カリフォルニア大学バークレー校のWagner Lab（デイビッド・ワグナー教授率いる）は、プロンプトインジェクション攻撃に対抗する技術を開発し、LLM全体の信頼性向上を目指しています。
Training Data Privacy: ダートマス大学のBreuer Lab（アダム・ブロイヤー教授率いる）は、モデルとのインタラクションを通じて敵対者がプライベートなトレーニングデータを再構築することを防ぐ防御技術を研究しており、モデルの精度や学習効率を犠牲にしないことを目指しています。
Secure Inference Infrastructure: Mithril Securityは、Trusted Platform Modules（TPM）に基づくセキュアエンクレーブを使用してGPU上にAIモデルを展開する概念実証とオープンソースツールを作成しました。このアーキテクチャは、AIプロバイダーに送信されるデータが管理者からも機密であり続けることを保証することを目的としています。

AIは、ソフトウェアやコードのセキュリティ上の欠陥を特定し、修正するために適用されています。

Software Misconfiguration: Coguardは、AIを活用してソフトウェア設定ミスの検出を自動化しています。これは、セキュリティインシデントの一般的な原因であり、旧来のルールベースポリシーをAI主導の自動化に置き換えています。
Code Vulnerability Analysis: ボストン大学のSecurity Lab（SeclaBU）とPeac Labの研究者（博士課程のSaad Ullah氏、Gianluca Stringhini教授、Ayse Coskun教授を含む）は、コード内の脆弱性を検出・修正するLLMの能力を向上させ、悪用を未然に防ぐことに取り組んでいます。

このプログラムは、アクティブ防御シナリオにおける基盤モデルの探索を支援しています。

Autonomous Cyber Defense Agents: サンタクルーズ大学（UCSC）のCY-PHY Security Lab（アルバロ・カルデナス教授率いる）は、ネットワーク侵入者に自律的に対応するエージェントを設計しています。この研究は、基盤モデルと強化学習（RL）ベースのモデルを比較し、脅威のトリアージとネットワークセキュリティの向上のためにどのように協働できるかを検証しています。
Automated Red-Teaming: MITコンピュータサイエンス人工知能研究所（MIT CSAIL）の研究者は、計画‑実行‑報告のループでプロンプトエンジニアリングを用いてレッドチーミング中の意思決定プロセスと実行可能な対応を自動化しています。また、Capture-the-Flag（CTF）チャレンジ内でLLMエージェントの能力をテストし、制御された環境での脆弱性を発見しています。