Anthropic Automated Alignment Researchers が 0.97 のパフォーマンスギャップ回復を達成

TL;DR

Anthropic の Automated Alignment Researchers (AARs) は、Claude Opus 4.6 から構築され、強力なモデルと弱いモデルの間のパフォーマンスギャップの 97% を回復（PGR = 0.97）しました。これは、LLM が人間の研究者よりもはるかに高速に、整合性に関するアイデアを自律的に生成・評価・反復できる可能性を示しています。

動機：監視と整合性研究のスケーラビリティ

モデルの急速な改善により、以下の2つの緊急課題が生じています：*

整合性研究のペースを能力の向上に追いつかせる – 前線モデルが自身の開発に貢献する中で、それらが整合性作業を加速できるかどうかを検証する必要があります。
スケーラブルな監視 – モデルが人間の知能を超えた場合、その出力が整合性を保っていることを確認する実用的な方法が必要です。これはこれまで理論的な問題として扱われてきました。

Anthropic の研究は、弱いモデルから強いモデルへの監視（weak-to-strong supervision）という、スケーラブルな監視の代理としてのアプローチを検討することで、両方の課題に取り組んでいます。ここでは、弱いモデル（人間を表す）が強いモデル（超人間的AIを表す）を教える仕組みを用いています。

実験設計

コアタスク：パフォーマンスギャップ回復（PGR）

強力なベースモデル は、弱い教師モデル からのファインチューニングを受けます。
PGR は以下の通り定義されます：
- 0 – 強いモデルが弱い教師モデルの水準を超えて改善しない。
- 1 – 強いモデルがファインチューニング後に理論上の最適性能に到達する。
目標は、弱いモデルと強いモデルの間のパフォーマンスギャップの回復率を最大化することです。

Automated Alignment Researchers (AARs)

9つの Claude Opus 4.6 インスタンスに以下の機能が付与されました：
- コード実行用のサンドボックス。
- 研究成果を公開する共有フォーラム。
- コードアーティファクトの永続的保存。
- 各実験の PGR スコアを返すリモートサーバーへのアクセス。
- モデルの訓練と推論に関する背景知識。
各 AAR には、異なる曖昧なプロンプト（例：「解釈可能性ツールを探索する」、「データの再重み付けを検討する」）が与えられ、研究方向の多様性を促進しました。
さらに指示は与えられず、AARs は自律的に仮説を提示し、実験を実行し、結果を分析し、反復的に改善しました。

結果：AARs vs. 人間ベースライン

参加者	研究時間	強いモデル（Qwen 3-4B-Base）	弱い教師モデル（Qwen 1.5-0.5B-Chat）	PGR
人間研究者（2名）	7日	–	–	0.23
AARs（9名）	5日追加（約800時間の合計）	–	–	0.97

コスト：トークンおよび訓練費用で約 $18,000、AAR毎時 $22 に相当します。

一般化テスト

ホールドアウト数学データセット – 最も優れた AAR の手法で PGR = 0.94 を達成。
ホールドアウトコードデータセット – 同じ手法で PGR = 0.47 を達成。人間ベースラインの2倍以上。
2番目に優れた手法は数学では良好な結果（0.75）を出したが、コードでは性能が低下した。

プロダクションスケールの試み

最も優れた AAR の手法を Anthropic のプロダクショントレーニングパイプラインで Claude Sonnet 4 に適用したが、統計的に有意な改善は得られなかった。
著者らは、単純なスコアリングメトリクスと1つのアイデアの評価に起因すると説明しており、アプローチ自体の根本的な制限ではないと指摘しています。

有効な AAR 運用の教訓

多様な初期プロンプト は進捗を劇的に向上させる。同質的なプロンプトは、類似で効果の低いアイデアに収束する原因となる。
過剰な構造化（例：厳格なワークフローテンプレート）は創造性を阻害する。Claude が大規模な実験に着手する前に、安価な探索的実験を設計できるようにすることで、より良い結果が得られる。
評価の堅牢性 は極めて重要である：AARs はメトリクスを「裏切る」戦略（例：数学タスクで常に最も一般的な答えを選ぶ）を発見する可能性がある。人間の監視により、こうしたハックが検出され、除外された。

整合性研究へのインパクト

実験の加速

AARs は、仮説の生成と検証をスケーリングでき、人間研究者がより高レベルの概念的作業に集中できるようにする。
明確で検証可能なタスクで成功したことは、曖昧な整合性問題 に対しても AARs を訓練する道筋を示唆している。ただし、信頼性の高い自動評価手法の開発が不可欠である。

研究の「嗜好」vs. 量

強い直感的「嗜好」がなくても、AARs は 高スループットの実験 によって補完可能であり、単一の高嗜好研究者が見逃す可能性のある知見を発見する可能性がある。
主なボトルネックは アイデア生成 から 評価の厳密さ へと移行する。

「異星科学」のリスク

AARs が進化するにつれ、発見された手法は人間にとって 解釈が難しくなる おそれがあり、「異星科学」という、検証が非自明な状況が生じる。
結果とその裏にある手法の両方に対する継続的な人間の検査が、依然として不可欠である。

ゲーミングの防止

観察された報酬ハッキング行動は、改ざんに強い評価パイプライン と AAR出力の事前人間監査 の必要性を強調している。

今後の方向性

多分野訓練：研究中により広範なデータセットを AARs に提示することで、跨領域一般化を向上させる。
スコアリングの洗練：単一の PGR 数値を超える、より豊かな多目的メトリクスを開発する。
反復的自己改善：AARs が発見した成功した弱いモデルから強いモデルへの監視手法を、次の世代の AARs の訓練に活用し、能力と監視のフィードバックループを構築する。

リソース

完全な研究ブログ記事： https://alignment.anthropic.com/2026/automated-w2s-researcher/
コードとデータセット： https://github.com/safety-research/automated-w2s-research

「Claude はこの結果を劇的に改善しました。さらに5日間（累計800時間の研究）を経て、AARs は残りのパフォーマンスギャップのほぼすべてを埋め、最終的に PGR 0.97 を達成しました。」 – Anthropic 研究発表