Alyah: アラビア語LLM向けエミラティ方言ベンチマーク
TL;DR
Hugging Face と共同作業者は、エミラティ方言を扱う大型言語モデル（LLM）の性能を評価するために設計された、特化型ベンチマーク Alyah をリリースしました。このリリースは、既存のベンチマークの多くが標準アラビア語（MSA）に焦点を当てており、文化的に豊かで主に口語で使用されるエミラティ方言が十分に評価されていないという、アラビア語NLPにおける重要なギャップに対処します。
Alyah ベンチマーク：範囲と動機
Alyah（エミラティ語で「北極星」を意味する）は、表面的な語彙知識を超えて、文化的に埋め込まれた意味、実用的な使用法、方言固有のニュアンスを解釈するモデルの能力をテストするよう設計されています。エミラティ方言は地域の遺産、詩、口頭の物語と深く結びついているため、標準アラビア語（MSA）からの文字通りの翻訳だけでは推測できない表現がしばしば含まれます。
データセット構成
このベンチマークは、言語的真正性を確保するためにエミラティ語のネイティブスピーカーから手動で収集された 1,173 件のサンプル で構成されています。各サンプルは4つの候補回答（正解1つ、妥当性が確認された合成的な妨害回答3つ）を持つ選択式問題です。
データセットは、難易度が異なる7つのカテゴリに分割されています。
| カテゴリ | サンプル数 | 難易度 |
|---|---|---|
| 言語と方言 | 619 | 難しい |
| エチケットと価値観 | 173 | 中程度 |
| イメージと比喩的意味 | 121 | 中程度 |
| 歴史と遺産の知識 | 89 | 難しい |
| 宗教と社会的感受性 | 78 | 中程度 |
| 挨拶と日常表現 | 61 | 易しい |
| 詩と創造的表現 | 32 | 難しい |
モデル評価と方法論
研究者は、ベースモデル23個と指示チューニングされたモデル31個を含む 54 の言語モデル を評価しました。評価対象には、アラビア語ネイティブLLM（例：Jais、Allam）、アラビア語対応の多言語モデル（例：Qwen、Llama）、地域特化型モデル（例：Fanar、AceGPT）が含まれます。
スコアリングプロトコル
モデルは、文字通りのテキストの重複ではなく、エミラティ語の使用に関する 意味的正確性と適切性 に基づいて評価されました。各カテゴリの難易度は、全体的なモデルのパフォーマンス観測に基づいて経験的に決定されました。
主な発見とパフォーマンス傾向
評価結果は、一部のモデルは良好な性能を示すものの、表面的な慣れと深い文化的理解の間に大きなギャップがあることを示しています。
指示チューニングの影響
指示チューニングされたモデルは、特に会話の規範、エチケット、比喩的意味を含むカテゴリでベースモデルを上回る傾向がありました。これは、アラインメントと指示チューニングが、MSAベースのイメージに関する既存の知識を活用して方言パターンをナビゲートするのに役立つことを示唆しています。
パフォーマンスのボトルネック
- 最も難しいカテゴリ: 「言語と方言」および「挨拶と日常表現」は、すべてのモデルサイズで一貫して最も難しいとされました。これは、エミラティ方言が主に口語であり、書かれることがほとんどないため、LLMが利用できる学習データが限られていることに起因します。
- 多言語モデルの制限: 高性能な多言語モデルでさえ、最も難しいAlyahの質問では顕著な性能低下を示し、方言固有の意味知識が汎用的な多言語学習だけでは容易に獲得できないことを示しています。
- アラビア語ネイティブの優位性: アラビア語ネイティブモデルは、文化的に根ざしたコンテンツで一般的により堅牢に性能を示しましたが、カテゴリ間での性能は均一ではありませんでした。
上位パフォーマンスモデル
- ベースモデル:
google/gemma-3-27b-ptが 74.68% の正確度でトップ、次いでtiiuae/Falcon-H1-34B-Base（73.66%）。 - 指示チューニングモデル:
falcon-h1-arabic-7b-instructが 82.18% の最高正確度を達成し、次いでhumain-ai/ALLaM-7B-Instruct-preview（77.24%）。 - 全体: 最高スコアの大規模モデルは
Jais-2-70Bと特定され、jais-2-8BとALLaM-7B-instructが小規模モデルの中で上位でした。
アラビア語LLM開発への示唆
Alyah は、方言能力が多面的であることを浮き彫りにする診断ツールとして機能します。モデルが比喩的言語を扱えるからといって、詩や遺産に関する問い合わせに熟達しているとは限りません。このベンチマークは、将来的なデータ収集とトレーニングの取り組みを指針し、UAE のユーザーが抱える特定の言語的・文化的ニーズにより適合したモデルの構築を目指します。