Anthropic モデル評価への統計的アプローチ

Anthropicは、新しい研究論文「Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations」を発表しました。これは、AIモデルの評価結果を科学的な厳密さをもって報告するためのフレームワークを提供するものです。その核心的な目的は、ベンチマークにおけるモデルの優れたパフォーマンスが、真の能力によるものなのか、それとも選択された特定の質問に関する単なる「運」によるものなのかを判断することにあります。

中心極限定理によるスキルの定量化

特定の質問セットに依存しない潜在的なスキルを測定するために、研究者は特定のベンチマークの観測された平均値ではなく、考えられるすべての質問にわたる理論的な平均値に焦点を当てるべきです。

中心極限定理に基づき、同じ分布からのランダムなサンプルの平均値は正規分布に従います。Anthropicは、すべての評価スコアとともに標準誤差（SEM）を報告することを推奨しています。これにより、平均スコアに1.96 × SEMを加減することで95%信頼区間を算出でき、モデルの理論的なパフォーマンスに関する数学的に根拠のある指標を提供できます。

非独立な質問へのクラスター化された標準誤差による対処

SQuAD、RACE、QuAC、DROPといった多くの一般的なベンチマークは、単一のテキストパッセージを中心に複数の質問をグループ化しているため、質問の独立性という仮定に違反しています。これらのクラスター化された質問に対して単純な中心極限定理のアプローチを適用すると、標準誤差を過小評価してしまい、実際には存在しない能力の差を誤って検出してしまう可能性があります。

Anthropicは、無作為化の単位（例：テキストパッセージ）に基づいて標準誤差をクラスター化することを推奨しています。実際のテストにおいて、Anthropicは、一般的な評価においてクラスター化された標準誤差が、単純な標準誤差の3倍以上大きくなる可能性があることを見出しました。

質問内における分散を減少させる戦略

スコアのランダムな成分の分散を減らすことは、全体の平均値の統計的な精度を直接的に向上させます。Anthropicは、プロンプト手法に基づいて2つの主要な戦略を提案しています。

Chain-of-Thought (CoT) 推論の場合: 研究者は同じモデルから回答を複数回再サンプリングし、質問レベルの平均値を中心極限定理の入力として使用すべきです。Inspect frameworkは、現在これをepochsパラメータを通じて実装しています。
Non-CoT 推論の場合: 次のトークンの確率を用いることで、ランダムな成分を排除できることが多いです。例えば、選択肢問題において「B」が正解である場合、スコアは正誤のバイナリ結果ではなく、モデルがトークン「B」に割り当てる確率であるべきです。

ペア差分分析によるシグナルの向上

2つのモデルを2つのサンプルを用いたt検定で比較することは、データの共有構造を無視することになります。モデルは同じ質問リストを用いてテストされるため、対応のある差分検定（paired-differences test）は、質問の難易度によって生じる分散を排除し、回答の応答における分散のみに焦点を当てることができるため、より効果的です。

Anthropicは、最先端のモデル（frontier models）は質問スコアにおいて実質的な相関（0.3から0.7の間）を示しており、これは、モデルが同じ質問を正解または不正解にする傾向があることを意味します。平均差、標準誤差、信頼区間、および相関を報告することで、相対的なパフォーマンスの指標をより明確に示せます。

評価設計のための検定力分析

統計的検定力（statistical power）は、、ある差が実際に存在する場合に、テストがその差を検出できる能力のことです。十分な検定力がない場合、モデルの能力における小さくも実在する差が見逃される可能性があります。

Anthropicは、検定力分析（power analysis）を用いて、以下のことを行うことを推奨しています：

特定の仮説を立てる（例：「Model AはModel Bよりも3パーセントポイント高いパフォーマンスを示す」）。
その仮説を、帰無仮説（例：「Model AとModel Bは同等である」）に対してテストするために必要な質問数を計算する。
回答の再サンプリング回数について、望ましい検定力特性を維持するために必要な回数を決定する。
期待される効果量に基づいて、質問数が限られた評価を実行する価値があるかどうかを判断する。