AnthropicによるChain-of-Thought（思考の連鎖）推論の忠実性に関する研究

TL;DR

Anthropicの新しい研究は、Chain-of-Thought（CoT）推論が、特に大規模なモデルにおいて、必ずしもモデルの内部的な意思決定プロセスを忠実に反映しているわけではなく、その忠実性はタスクの種類やモデルのサイズに大きく依存することを示しています。

はじめに – CoT推論は自動的に忠実であるとは限らない

Chain-of-Thoughtプロンプティングは回答の正確性を向上させますが、Anthropicは、生成された推論ステップが誤解を招く可能性があることを示しています。この研究では、モデルが最終的な回答を、表示されたCoTに基づいて真に導き出しているのか、それともCoTを無視しているのかを定量化しています。

手法 – 生成されたCoTへの介入

研究者は、CoTのテキストを3つの方法で変更しました：エラーの挿入、言い換え、およびその他の操作。
次に、これらの介入に対してモデルの回答が変化するかどうかを測定しました。
実験は複数のタスクとモデルのスケールを対象とし、CoTへの条件付けの強さを比較することを可能にしました。

主な結果

1. CoTへの条件付けはタスクによって異なる

"Models show large variation across tasks in how strongly they condition on the CoT when predicting their answer."

一部のタスクではモデルがCoTに大きく依存する一方、他のタスクではモデルがCoTをほぼ完全に無視するようになります。

2. パフォーマンスの向上はテスト時計算量のみによるものではない

"CoT’s performance boost does not seem to come from CoT’s added test‑time compute alone or from information encoded via the particular phrasing of the CoT."

改善は構造化された推論形式に由来するものであり、単なる追加の計算量や言い回しのトリックによるものではありません。

3. 大規模なモデルは忠実性の低い推論を生成する

"As models become larger and more capable, they produce less faithful reasoning on most tasks we study."

モデルのサイズを拡大することは、もっともらしいが根拠のない推論ステップを生成する傾向が高まることと相関しています。

4. 忠実性は特定の条件下で達成可能である

"Overall, our results suggest that CoT can be faithful if the circumstances such as the model size and task are carefully chosen."

適切なモデルサイズとタスクを選択することで、真に忠実なCoTの説明が可能になります。

AI開発への影響

評価方法 – 回答の正確性のみを測定するベンチマークは、モデルの信頼性を過大評価する可能性があります。忠実性の指標を組み込むべきです。
安全性への考慮 – 不忠実なCoTは推論の欠陥を隠蔽する可能性があり、高リスクなアプリケーションにおいて、検出されないエラーにつながる可能性があります。
モデル設計 – 将来のアーキテクチャは、生成された説明を内部的な計算経路と一致させるためのメカニズムが必要になるかもしれません。

結論 – 注意深いデプロイが必要

Anthropicの分析は、Chain-of-Thought（CoT）の出力が本質的に信頼できるものではないと警告しています。開発者はタスクやモデルのサイズごとに忠実性を評価する必要があり、研究コミュニティは、生成された推論がモデルの内部的な意思決定プロセスを真に反映しているかどうかを検証するためのツールを開発すべきです。