Open Arabic LLM Leaderboard の紹介

Hugging Face と Technology Innovation Institute (TII) は、Open Arabic LLM Leaderboard (OALL) を立ち上げました。このプラットフォームは、アラビア語大型言語モデル (LLM) の性能を評価・比較するために特化したものです。この取り組みは、自然言語処理 (NLP) におけるリソース格差、特に評価ツールが従来英語中心であった問題に対処し、3億8000万人以上のアラビア語話者向けにモデルを改善するための標準化された手段を提供します。

包括的ベンチマークデータセット

OALL は、多様で堅牢なデータセットのコレクションを活用し、さまざまな言語タスクにわたるモデル能力の包括的な評価を保証します。

• AlGhafa Benchmark: TII LLM チームが開発したこのベンチマークは、読解、感情分析、質問応答を評価します。11 のアラビア語ネイティブデータセットと、広く採用されている英語 NLP ベンチマークの翻訳版 11 件で構成されています。
• ACVA and AceGPT Benchmarks: これらは、"AceGPT, Localizing Large Language Models in Arabic" 論文からの 58 件のデータセットと、MMLU および EXAMS ベンチマークの翻訳版を含み、言語的複雑性と微妙さの広範なスペクトルをカバーします。

評価指標と技術インフラ

リーダーボードは、主要指標として normalized log likelihood accuracy を採用しています。この指標は、ベンチマークデータセットで使用される選択式および Yes/No 形式の質問に特に適しており、タスクタイプが異なる場合でも公平な性能測定を提供します。

技術的には、OALL は以下のスタックで構築されています。

• Framework: 評価実行には lighteval ライブラリを使用しています。チームは PR #44 と PR #95 を通じて lighteval にアラビア語ベンチマークを統合し、コミュニティがすぐに評価を実行できるようにしました。
• Architecture: フロントエンドとバックエンドは demo-leaderboard を参考にしており、バックエンドは TII クラスタ上にローカルでホストされています。

モデル提出ガイドライン

リーダーボードの整合性を保つため、参加者はモデル提出に関して以下の技術要件を遵守する必要があります。

• Precision Alignment: モデルの精度は元のモデルと一致させ、正しい表示と評価を保証する必要があります。
• Compatibility: モデルは AutoClasses（AutoConfig、AutoModel、AutoTokenizer）でロード可能であり、公開設定にする必要があります。
• Weight Format: 重みは safetensors に変換し、ロードを高速化し、Extended Viewer でパラメータ数を表示できるようにしてください。
• Licensing: アクセシビリティ向上のため、オープンライセンスのモデルのみ受け付けます。
• Documentation: 完全なモデルカードが必要です。この情報は自動的に抽出され、リーダーボードに表示されます。

今後のロードマップとコミュニティ目標

OALL チームは、今後のいくつかのイニシアチブを通じてプラットフォームの範囲を拡大する計画です。

• Specialized Leaderboards: 新たなカテゴリの開発を行い、Retrieval Augmented Generation (RAG) シナリオ用リーダーボードや、ユーザーの好みに基づく ELO スコアを用いたチャットボットアリーナを含めます。
• OpenDolphin Benchmark: "Dolphin: A Challenging and Diverse Benchmark for Arabic NLG" 論文のオープンな再現で、約 50 件のデータセットが含まれます。
• Cross-Language Application: 本プロジェクトは、他の過小評価されている言語向けに同様の大規模・言語特化型リーダーボードを作成するための青写真となり、グローバルな NLP リソース格差を埋めることを目指します。