The Open Arabic LLM Leaderboard 2

概要

Hugging Faceとそのパートナーは、アラビア語をサポートする大規模言語モデル（LLM）のより正確で透明性の高い評価を提供するために設計された、洗練されたベンチマークプラットフォームである Open Arabic LLM Leaderboard 2 (OALL v2) をリリースしました。今回のアップデートでは、機械翻訳されたタスクからネイティブなアラビア語のベンチマークへと焦点を移し、言語の複雑な形態論、構文、および文化的ニュアンスをより適切に捉えるようにしています。

アラビア語ベンチマークの課題への対処

従来の Arabic LLM リーダーボードは、リソースの制限により、ユーザーが直接的な比較ではなくモデル作成者のドキュメントに頼らざるを得なかったり、提出された結果の集中検証が欠如しているために整合性の問題が発生したりすることがよくありました。

OALL v2 は、リーダーボードの第1版およびその他のコミュニティの取り組みで特定された欠点を具体的に解決しています：

  • 翻訳バイアスの削減: v1 のタスクの多くは英語からの直接翻訳であり、それが言語的な不一致を引き起こし、現実世界のアラビア語のユースケースを反映できていませんでした。
  • ベンチマークの飽和: 複数の v1 ベンチマークでは、モデルがほぼ完璧なスコアを達成したため、効果が低下し、漸進的な改善を区別することが不可能になっていました。
  • 技術的な修正: AlGhafa タスクのバグが修正されました。以前は、システムはインデックスではなく選択テキストに基づいて回答を評価していたため、小規模または脆弱なモデルが最大20ポイント不当にペナルティを受けていました。

OALL v2 での新規および継続されるベンチマーク

OALL v2 は、飽和したタスクや機械翻訳されたタスクの削除と、高品質なネイティブまたは人間がキュレーションしたベンチマークの追加という2つの指針に従っています。

継続されるデータセット

元の OALL から、リーダーボードは AlGhafa benchmark（Facts-Balanced、SOCAL、XGLUE、Sentiment、Sentiment-Rating の人間によるキュレーション版を含む）のネイティブなアラビア語データセット、Belebele（Arabic-MSA および Arabic-Dialects）、および Arabic EXAMS benchmarks を維持しています。

新しいデータセット

  • Native Arabic MMLU: 学校試験から取得された、現代標準アラビア語（MSA）による約15,000の多肢選択問題を含む40のタスク。
  • Human Translated MMLU (MMLU-HT): JAIS プロジェクトの一環として Inception によってキュレーションされた、オリジナルの英語 MMLU の57タスクの人間による翻訳。
  • MedinaQA: 一般的なアラビア語の言語および文法の側面に焦点を当てたデータセット。
  • AraTrust: 安全性と真実性を評価する、522の人間が作成した多肢選択問題。

ALRAGE ベンチマーク

OALL v2 は、アラビア語における RAG 能力を評価するためのフレームワークである ALRAGE (Arabic Language Retrieval Augmented Generation Evaluation) を導入しています。

  • データセット: 多様なトピックにわたる40のアラビア語の書籍から取得。合成生成には Meta-Llama-3.1-70B を使用し、Argilla とのコミュニティスプリントを通じてネイティブスピーカーによって検証されています。
  • 手法: lighteval フレームワークを介した「LLM-as-judge」指標を利用しています。Qwen2.5-72B-Instruct が判定役を務め、正確性、関連性、品質に基づいて 0-10 のルーブリックで回答をスコアリングし、その後 0-1 の範囲に正規化されます。

パフォーマンス分析と結果

OALL v1 と v2 の統計的な比較により、AraTrust、ALRAGE、および更新された AlGhafa のような新しいベンチマークでのパフォーマンスは、異なるモデルサイズ間でより分散していることが明らかになりました。一方で、ACVA や Toxigen のような古いタスクは、顕著な飽和を示しました。

モデルランキング

  • トップパフォーマー: Llama-3.3-70B-Instruct が OALL v2 のすべてのカテゴリにおいてリーダーとして浮上しました。
  • 事前学習済みモデル: Qwen モデルは引き続き強力なベースラインとなっています。具体的には、Qwen/Qwen2-72B が、トップの事前学習済み/継続的学習済みモデルとして Qwen/Qwen2.5-72B を上回っています。
  • リーダーボード間の相関: OALL v2 と AraGen や SEAL Arabic といった他のリーダーボードとの間には顕著な相関があり、Llama-3.3-70B-Instruct は OALL v2 と AraGen の両方で1位を獲得しています。

モデルファミリーの傾向

AceGPT および Jais ファミリーの分析では、一般的にモデルが大きくなるほど平均スコアが高くなることが示されています。しかし、顕著な例外として、inceptionai/jais-family-30b-8k モデルがあり、これは OALL v2 においてより大きな inceptionai/jais-adapted-70b モデルを上回っています。

運用上の変更

計算リソースへの公平なアクセスを確保し、参加組織間の多様性を促進するため、OALL v2 では現在、組織ごとに週5モデルまでの提出に制限を設けています。さらに、リーダーボードはチャットテンプレートをサポートするようになりました。モデル構成にテンプレートが見つかった場合、評価に使用されます。

Sources