Hugging Face Open LLM Leaderboard MMLU 評価分析

Hugging Faceは、Open LLM LeaderboardにおけるMMLU（Massive Multitask Language Understanding）スコアの不一致が、特にLLaMAモデルについて、さまざまな評価ライブラリ間でのベンチマークの実装の違いから生じていることを特定しました。これは、LLMの評価結果がプロンプトのフォーマットや予測を抽出する方法などの細かい詳細に非常に敏感であることを示しています。

MMLUスコアへの実装の影響

同じMMLUデータセットの異なるソフトウェア実装は、絶対スコアに大きな違いを生み出し、モデルのランキングを変更する可能性があります。Hugging Faceは、以下の3つの具体的な実装を比較しました：

  1. オリジナル実装: MMLUを開発したUC Berkeleyチームが提案したコード。
  2. HELM実装: StanfordのHolistic Evaluation of Language Models（HELM）で提供されたコード。
  3. EleutherAI LM Evaluation Harness: Open LLM Leaderboardのバックエンドとして使用されているライブラリ。

比較結果によると、LLaMA-65Bのようなモデルはオリジナル実装では0.636のスコアを獲得しましたが、Harness実装ではわずか0.488しか得られませんでした。この差（約30%）は、評価方法による違いであるにもかかわらず、研究者を誤ってモデルの訓練が不十分だと信じ込ませる可能性があります。

評価方法の技術的違い

不一致は主に2つの領域から生じます：プロンプトの構築とスコアの計算方法。

プロンプトのバリエーション

入力文字列のわずかな変更でもモデルの出力に影響を与えます。3つの実装間で観察された違いには以下が含まれます：

  • 指示: 導入文とトピック行の含有のバリエーション。
  • プレフィックス: 質問の前に「Question:」ラベルがあるかどうか。
  • 選択肢のフォーマット: 複数選択肢の前に「Choices」キーワードがあるかどうか。

予測抽出方法

これらのライブラリがモデルから回答を抽出する方法には、3つの異なる方法があります：

  • 文字の確率比較 (Original): モデルが予測した単一トークン「A」、「B」、「C」、「D」の確率を比較します。これらのうち最高の確率が勝ち、モデルが他の単語を生成したいとしても関係ありません。
  • テキスト生成比較 (HELM): モデルがテキスト応答を生成し、それが期待される文字回答と比較されます。モデルが期待される文字以外の単語（例: 「Zygote」）を生成した場合、不正解となります。
  • フルシーケンス確率 (Harness - Jan 2023): ライブラリは完全な回答シーケンス（例: 「C. 第二咽頭弓」）の確率を比較します。これは、シーケンス内の各トークンの確率の対数を合計することを含みます。

評価アプローチのサマリー

実装 比較方法
オリジナル 文字回答 (A, B, C, D) の確率を比較
HELM モデルに文字回答をテキストとして生成することを期待
AI Harness (Jan 2023) 完全な回答シーケンス (Letter + Text) の確率を比較

結論と今後のアップデート

評価結果は絶対的ではなく、特定の実装、トークン化、プロンプトに依存します。公平な比較を確保するため、Hugging FaceはEleutherAI Eval HarnessやStanford HELMのようなオープンで標準化され、再現可能なベンチマークの必要性を強調しています。

観測された不一致を解決するため、EleutherAI Harnessは元の実装にさらに近づくようにMMLU評価を更新しました。Hugging Faceは、更新されたEleutherAI Eval Harness v2を使用して、これらの変更を反映するようにOpen LLM Leaderboardを現在更新しています。

Sources