AraGen ベンチマークとリーダーボード: アラビア語 LLMs 向け 3C3H 評価の導入

TL;DR

Hugging Face は、新しい 3C3H 評価指標に基づいて構築されたアラビア語の大規模言語モデル向け生成タスクのベンチマークおよびリーダーボードである AraGen を発表しました。この指標は、LLM‑as‑judge アプローチを使用して、正確性、完全性、簡潔性、役立ちやすさ、正直さ、無害性の各観点でモデルの応答をスコアリングします。

3C3H 指標の概要

3C3H 指標は、事実性と使いやすさを組み合わせた総合的な評価です。以下の 6 つの次元を評価します：

  • Correctness (バイナリ): グラウンドトゥルースに対する事実の正確性。
  • Completeness (バイナリ): 回答が質問のすべての部分に対応しているかどうか。
  • Conciseness (1‑5): 必要な情報を保持しながらの簡潔さの適切さ。
  • Helpfulness (1‑5): 回答がユーザーを助ける程度。
  • Honesty (1‑5): すべての情報の正確性、幻覚を罰則とする。
  • Harmlessness (1‑5): 攻撃的または偏った内容の absence（不在）。 バイナリスコアはまず計算されます；正確性または完全性がゼロの場合、他のすべての次元はゼロに設定されます。スケールスコアは [1,5] から [0,1] に正規化されます。全体の 3C3H スコアは、各サンプルについて 6 つの次元を集約し、データセット全体で平均を取ります。

AraGen ベンチマークとリーダーボード

AraGen は、3C3H 指標を使用してオープンおよびプロプライエタリのアラビア語 LLMs をランク付けするリーダーボードを提供します。このベンチマークは、質問応答、正書法および文法分析、推論、安全の 4 つのタスクをカバーする 279 個の人間が検証した質問で構成されます。

評価パイプライン

  1. Model Submission – ユーザーは評価のためにモデルを提出します。
  2. Response Generation – モデルは固定された AraGen ベンチマークセットに対して回答を生成します。
  3. LLM as Judge – 選択された LLM は、検証済みのグラウンドトゥルースに対して各モデルの回答を評価し、3C3H ガイドラインに従ってスコアを出力し、JSON 形式で結果を返します。
  4. Scoring and Normalization – バイナリスコアはまず導出され、スケールスコアは [0,1] に正規化されます。
  5. Leaderboard Reporting – 結果は 2 つのリーダーボードに表示されます：一般的な 3C3H リーダーボード（全体および各次元のスコアを表示）およびタスクリーダーボード（4 つのタスクそれぞれのスコアを表示）。

ロバスト性のための動的リーダーボード

データ汚染を軽減するため、AraGen は動的評価戦略を採用しています：

  • Blind Test Sets – 各データセットは 3 か月の評価期間中非公開のまま保たれ、モデルのトレーニングへの漏洩を防ぎます。
  • Periodic Updates – 3 か月後に、ブラインドセットは新しい人間が検証した質問‑回答ペアのセットに置き換えられ、構造、複雑さ、ドメインのバランスが保たれます。
  • Open‑Sourcing – ブラインド期間後に、データセットと評価コードが公開リリースされ、独立した検証と再現性が可能になります。

データセット設計

AraGen ベンチマークは、4 つのタスクにわたって分布する 279 の例を含みます。インタラクションの種類は：

  • Single Interaction – シンプルな質問‑回答。
  • Conversational Interaction – マルチターンのやり取り；フローを考慮しながら最終ターンに焦点を当てて評価します。
  • Follow‑Up Interaction – 2 ターンのシーケンスで、2 番目の回答が最初の回答に依存します；最初の回答は事実の連続性を強調するために 2 倍の重みが付けられます。 正書法および文法分析については、データはアラビア語の文法とアラビア語の書き取り文法の間で均等に分割されます（それぞれ 50%）。安全の例は安全カテゴリに専属的に属します。

評価と選考のジャッジ

著者は、ジャッジとしていくつかの候補 LLM を試しました。これには GPT‑4o、GPT‑4o‑mini、Claude‑3.5‑sonnet、Claude‑3‑haiku、Llama 3.1‑405b、およびジャッジシステムが含まれます。評価基準は、人間のジャッジとの一致（Cohenの Kappa）、スコアの一貫性（標準偏差）、自己バイアス、および幻覚傾向でした。

  • Agreement: GPT‑4o‑mini は人間との Kappa が最も高かった（0.46）；それに続いて Claude‑3.5‑sonnet が続きました。
  • Consistency: ジャッジシステムは平均標準偏差が最も低かった（0.0049）；単一のジャッジのうちでは Claude‑3.5‑sonnet が最も安定していました（0.0063）。
  • Self‑Bias: Claude‑3.5‑sonnet は自己優先的なスコアリングが最小限でした；それに対し、GPT‑4o と GPT‑4o‑mini は自分の出力を他のジャッジよりも高く評価しました。
  • Hallucination: Claude‑3.5‑sonnet と GPT‑4o‑mini の両方はガイドラインへの遵守が高かった；Claude‑3.5‑sonnet のいずれかの不一致は API エラーによるもので、幻覚によるものではありませんでした。 これらの結果に基づき、変動が少なく、自己バイアスが少なく、人間との一致が強い Claude‑3.5‑sonnet が AraGen リーダーボードの主要ジャッジとして選出されました。ジャッジシステムはランキングの改善がなく、バイアスの増幅のリスクがあり、計算コストが高いため除外されました。

結論

AraGen は、3C3H 指標を通じて事実性と使いやすさを統合した厳格で動的な評価フレームワークをアラビア語 LLMs に導入します。評価データを 3 か月間非公開に保ち、その後公開することで、リーダーボードはデータ漏洩のリスクを低減しつつ、透明性と再現性を維持します。著者は、新しいタスクでベンチマークを拡張し、データセットの作成を半自動化し、このフレームワークをその他のリソースが限られた言語にも適応させる計画です。

Sources