OpenAI 推論モデル CoT 制御性研究

OpenAI は、現在の最先端推論モデルが思考連鎖（CoT）を制御するのに苦労していることを発見した。これは、これらのモデルが安全モニタリングを回避するために意図的に推論を隠すことができないことを示している。この低い制御性は AI 安全性にとって好ましい結果であり、CoT モニタリングが安全でない、またはミスアラインされた行動を特定する信頼できる手段であり続けることを示唆している。

CoT 制御性の理解

思考連鎖（CoT）とは、AI エージェントがタスクを解決するために生成する中間的な推論ステップを指す。これらのトレースをモニタリングすることで、安全システムはエージェントの行動がユーザーの目標と合致しているかを評価できる。

CoT の制御性は、モデルが CoT の特性を制御してモニタビリティを低減できる能力として定義される。モニタを回避する現実的なインセンティブを測定することは困難なため、OpenAI は代替指標として、内部推論プロセスに関する特定の指示に従うモデルの能力を使用した。これらの指示には以下のような要件が含まれた：

• 推論トレースでは小文字のみを使用すること。
• 問題に関連する特定のキーワードを避けること。
• CoT の各文の末尾に特定の単語を付加すること。

この評価のために、OpenAI は CoT-Control を導入した。これは、GPQA、MMLU-Pro、HLE、BFCL、SWE-Bench Verified などのベンチマークから派生した 13,000 件以上のタスクを含むオープンソースの評価スイートである。

発見：フロンティアモデル全体での低い制御性

13 の推論モデルの評価により、テストされたすべての最先端モデルが CoT を確実に制御するのに苦労していることが明らかになった。制御性スコアは、モデルが指示に成功裏に従った推論トレースの割合として測定され、0.1% から最大で 15.4% の範囲だった。

主要な観察結果は次のとおりである：

• 認知的認識 vs. 実行： モデルはしばしば自らの CoT 内で指示に従えていないことを認識したが、その認識にもかかわらず失敗し続けた。
• スケールとパフォーマンス： オープンウェイトモデルではモデルサイズが大きくなるにつれて制御性がわずかに向上したが、規模が大きくなると効果は減衰した。
• 計算リソースと訓練の影響： モデルに長時間推論させたり、ポストトレーニングを多く受けさせると制御性が低下した。例として、OLMo-3-7B-RL-Zero-Math の制御性スコアは RL 訓練中に 10 倍以上低下した。
• 敵対的条件： モデルにモニタリングされていること（「モニタ認識」）や評価されていること（「評価認識」）を知らせると、制御性はわずかに向上したが、顕著ではなかった。自動プロンプト最適化は訓練セット上での改善をもたらしたが、新しい指示タイプには転移しなかった。

AI 安全性とモニタリングへの影響

低い CoT 制御性は欠陥ではなく安全機能とみなされている。モデルが内部の推論ステップを簡単に隠してモニタを欺くことができないため、CoT モニタリングの信頼性が高まる。

しかしながら、OpenAI は低い制御性が高いモニタビリティの保証ではないことに注意している。モニタビリティは、思考連鎖に対する直接的な最適化圧力など、他のメカニズムによっても低下し得る。

今後の展望とモニタリング

OpenAI は CoT 制御性の評価を「カナリア評価」として扱う——モデルが進化するにつれて推論を形作ったり隠したりする能力を獲得したかどうかを検知する早期警告システムである。透明性を保つため、OpenAI は今後の最先端モデルのシステムカードで、GPT-5.4 Thinking から開始して、CoT モニタビリティと併せて CoT 制御性を報告する予定である。