敵対的堅牢性のための推論時計算量のトレードオフ

OpenAIは、推論時計算量（reasoning modelsが「考える」ための時間とリソースを増やすこと）を増やすことで、さまざまな敵対的攻撃に対する堅牢性が向上するという予備的な証拠を提示しました。この発見は、推論時のスケーリングが、特定の敵対的学習を必要とせずに、既知および未知の攻撃の両方を防御するメカニズムを提供できる可能性を示唆しています。

推論時スケーリングによる堅牢性の向上

モデルが推論中に実行する計算量を増やすことで、多くのシナリオにおいて敵対的攻撃が成功する確率が減少します。推論中に計算量を適応させることができる o1-preview や o1-mini のような推論モデルを使用すると、OpenAIの研究者は、推論時計算量が増大するにつれて、攻撃の成功確率がゼロに向かって減衰することが多いことを観察しました。

この堅牢性の向上は、モデルが攻撃の性質を認識させられないため、敵対的学習とは異なるものです。堅牢性は、推論プロセスに割り当てられた計算リソースの増加のみから生じます。

実験の範囲と攻撃対象

OpenAIは、いくつかのタスクカテゴリと攻撃手法にわたって、計算量と堅牢性の関係を評価しました：

タスクカテゴリ

数学的タスク: 単純な算術から MATH データセットの複雑な問題まで。攻撃者は、モデルに特定の誤った回答（例：正解の代わりに42を出力させる）を出力するように強制しようとしました。
事実性: ブラウジングされたウェブページに敵対的なプロンプトを注入する、SimpleQAベンチマークの敵対的バージョン。
ビジョン: 「Attack Bard」論文に基づく敵対的画像。
安全性と悪用: 禁止された回答を引き出すように設計された StrongREJECT ベンチマークからのプロンプト。
モデル仕様: モデル仕様への準拠に関する内部評価。

攻撃対象

Many-Shot Attacks: 大量の敵対的な入出力例の提供。
Soft Token Optimization: 特定の目標を達成するために任意の埋め込みベクトルを最適化すること。
Language Model Programs (LMP): 自動化されたAIレッドチーミングを実行するために、LMを組み込んだ構造化プログラムを使用すること。
マルチモーダル入力: 敵対的な画像とテキストの使用。

制限事項と例外

推論時計算量は、普遍的に堅牢性を保証するものではありません。OpenAIは主に3つの制限事項を特定しました：

初期の成功スパイク: 場合によっては、推論時計算量が増えるにつれて、攻撃の成功率が最初に上昇することがあります。これは、モデルが特定の修正された回答を提供するように操作される前に、根本的な問題を解決するために最低限の計算量を必要とするために起こります（例：結果に1を加える前に数学の問題を解く）。
特定の攻撃の持続性: 計算量を増やしても減衰しない攻撃があります。具体的には、LMP攻撃を使用した StrongREJECT ベンチマークでは、一部のプロンプトがすべてのコンテキストで禁止されていない情報を要求しており、LMPが情報の提供が仕様に準拠するコンテキストを見つけられる場合があります。
計算量の管理ミス: 攻撃者は、モデルに割り当てられた推論時計算量を使用させないようにしたり、非生産的に使用させたりするようにモデルを欺くことができます。研究者は、現在のアプローチは素朴なものであり、モデルに計算量を「賢く」使うように教えることが将来の研究方向であると述べています。

結論

制限は存在するものの、推論時計算量を敵対的堅牢性とトレードオフできる能力は、AI安全性における有望な転換点となります。これは、推論中の「思考」プロセスをスケーリングすることで、歴史的にモデルサイズの拡大だけでは耐性がなかった脆弱性を軽減できる可能性を示唆しています。