Falcon-Emirati-7B リリース: エミラティ方言に特化したアラビア語LLM

TL;DR

Falcon-Emirati-7Bは、エミラティ・アラビア語を理解・生成するようにファインチューニングされた7Bパラメータのアラビア語モデルです。Alyah方言ベンチマークで84.83%の精度を達成し、正確性と方言の忠実度の両面で、より大規模な多言語モデルを凌駕しています。

モデルの概要

Falcon-Emirati-7Bは、Falcon‑H1‑Arabic 7Bチェックポイントをベースに構築されており、各ブロックに状態空間モデル（Mamba）とTransformerアテンションを組み合わせています。このハイブリッドアーキテクチャは、長文脈に対して線形時間での効率性を提供しつつ、アテンションベースの精度を維持します。これは、形態学的に豊かなアラビア語にとって極めて重要な特性です。ベースモデルファミリーは3B、7B、34Bのパラメータで構成され、最大256Kトークンのコンテキストウィンドウを持ち、現代標準アラビア語（MSA）、湾岸方言、および多言語データの混合で学習されています。

方言適応が困難な理由

  • 書き言葉データの不足 – エミラティ・アラビア語は主に話し言葉であるため、MSAと比較してオンライン上のテキストが極めて少ない。
  • 非直喩的な意味 – 慣用句、ことわざ、ナバティ詩は、直訳では捉えきれない文化的背景に依存している。
  • 確立された手法の欠如 – 方言データとMSAデータの最適な比率や、最適な学習段階（継続的事前学習、SFT、または選好最適化）が不明であり、広範な試行錯誤が必要となる。

データパイプライン

  1. 本物のエミラティ方言のWebデータ – エミラティのフォーラムやWebサイトから収集された、ネイティブが記述した方言を含むデータ。日常的な言い回しやMSAとのコードスイッチングを捉えています。
  2. エミラティ文化に関するMSA資料 – 伝統、習慣、社会規範に関する記事。方言の形式を教えることなく、背景知識を提供します。
  3. 用語集に基づいた合成データ – エミラティ特有の語彙やスタイルルールによって制約された大規模な生成テキスト。収集データでカバーされていないトピック全体で真正性を確保します。

学習戦略

一連のアブレーション研究により、以下を調査しました：

  • 方言データと合成データの比率。
  • 方言データの注入ポイント（初期の継続的事前学習 vs 後期の指示チューニング）。
  • 合成パターンへの過学習を避けつつ、根拠を維持するための文化的MSAコンテンツのバランス調整。 ネイティブスピーカーによるレビューと自動メトリクスが、最終的なレシピの選択を導きました。

評価手法

ネイティブスピーカーによる手動レビュー

エミラティのネイティブスピーカーが、出力の自然さ、トーン、文化的適切さを評価し、自動スコアでは捉えきれないニュアンスを評価しました。

自動ベンチマーク – Alyah

Alyah (الياه, “北極星”) は、著者らとコミュニティによって作成された1,173サンプルの多肢選択式ベンチマークで、エミラティ方言の能力をテストします。挨拶、慣用句、詩、伝統知識、言語固有のカテゴリをカバーしています。

結果

  • Alyah精度: 84.83% – 比較されたすべてのアラビア語モデルおよび多言語モデルの中で最高であり、複数のより大規模なモデルを上回りました。
  • 方言の忠実度 (LLM-as-judge): 部分点スコアは0.52で、次点のモデル（0.05）より2桁高い結果となりました。
  • オープンエンド生成: Falcon-Emirati-7Bは正確性でリードしており、競合モデルがMSAをデフォルトとする中で、一貫してエミラティ・アラビア語で回答します。
  • 文化的理解 (ArabCulture‑Dialogue UAEサブセット): 85.57%の精度を達成し、ALLaM‑7B (83.39%) やその他のベースラインを上回りました。

詳細な比較

  • 多肢選択式 vs 他のモデル – サイズだけで方言能力が保証されるわけではなく、ターゲットを絞った方言学習が不可欠です。
  • LLM-as-judge生成 – Falcon-Emirati-7Bは、プロンプトが与えられた際に確実にエミラティに切り替わる唯一のモデルであり、詩や文化カテゴリで0.69～0.88の勝率を記録しました。
  • カテゴリレベルの分析 – モデルはすべてのAlyahカテゴリで優れており、唯一の接戦は挨拶カテゴリで見られました（エミラティとMSAが重複するため）。

意義

この結果は、特に豊かな口承伝統と文化的ニュアンスを持つ言語において、方言特化型のファインチューニングがスケーリング単体よりも大幅な向上をもたらすことを示しています。Falcon-Emirati-7Bは、カスタマーサポート、文化コンテンツ生成、ローカライズされたAIアシスタントなど、本物のエミラティとの対話を必要とするアプリケーションに実用的なツールを提供すると同時に、各方言に対する専用のデータパイプラインと評価ベンチマークの必要性を強調しています。

責任あるAIと制限事項

このモデルは学習データからバイアスを引き継ぐ可能性があり、稀な表現や非常に局所的な参照については誤る可能性があります。方言のニュアンスは主観的である場合があり、ネイティブスピーカー間でも「正しい」答えについて意見が分かれることがあります。ユーザーは特定のユースケースに対してモデルを評価し、モデルとAlyahベンチマークの両方を改善するためのフィードバックを提供してください。

Falcon‑Emirati‑7Bを試す方法

モデルはFalconチャットプラットフォームからアクセス可能です: https://chat.falconllm.tii.ae/?model=Falcon-Emirati-7B。

引用

@misc{falcon_emirati_7b_2026,
  title = {Falcon-Emirati-7B: A Dialect-Specialized Arabic LLM for the Emirati Dialect},
  author = {Shaikha Alsuwaidi, Omar Alkaabi, Maitha Alhammadi, Hamza Alobeidli, Ahmed Alzubaidi, Mohammed Alyafeai, Leen AlQadi, Basma Boussaha, Hakim Hacid},
  organization = {Technology Innovation Institute},
  year = {2026}
}

Sources