Falcon-Emirati-7B 发布：专为阿联酋方言打造的阿拉伯语大语言模型

TL;DR

Falcon-Emirati-7B 是一个 7B 参数的阿拉伯语大语言模型，经过微调以理解和生成阿联酋阿拉伯语。它在 Alyah 方言基准测试中达到了 84.83% 的准确率，在正确性和方言保真度方面均优于更大的多语言模型。

模型概述

Falcon-Emirati-7B 基于 Falcon‑H1‑Arabic 7B 检查点构建，该检查点在每个模块中结合了状态空间模型 (Mamba) 和 Transformer 注意力机制。这种混合架构为长序列提供了线性时间效率，同时保留了基于注意力的精度，这对于形态丰富的阿拉伯语至关重要。该基础系列涵盖 3B、7B 和 34B 参数，上下文窗口高达 256K token，并使用现代标准阿拉伯语 (MSA)、海湾方言和多语言数据的混合进行训练。

为什么方言适配很困难

  • 书面数据稀疏 – 阿联酋阿拉伯语主要用于口语，因此与 MSA 相比，在线文本非常稀缺。
  • 非字面含义 – 习语、谚语和纳巴蒂诗歌依赖于字面翻译无法捕捉的文化背景。
  • 没有既定配方 – 方言数据与 MSA 数据的最佳比例以及最佳训练阶段（持续预训练、SFT 或偏好优化）尚不明确，需要大量的试错。

数据流水线

  1. 真实的阿联酋方言网络数据 – 从包含母语书写方言的阿联酋论坛和网站中精心抓取，捕捉日常用语以及与 MSA 的语码转换。
  2. 关于阿联酋文化的 MSA 材料 – 关于遗产、习俗和社会规范的文章，在不教授方言形式的情况下提供背景知识。
  3. 由词汇表引导的合成数据 – 受阿联酋特定词汇和风格规则约束的大规模生成文本，以确保在抓取数据未涵盖的主题上保持真实性。

训练策略

一系列消融实验探讨了：

  • 方言数据与合成数据的比例。
  • 方言数据的注入点（早期持续预训练与后期指令微调）。
  • 平衡文化 MSA 内容，以在保持基础的同时避免对合成模式的过度拟合。 母语人士的审查和自动指标指导了最终配方的选择。

评估方法

母语人士人工审查

阿联酋母语人士对输出的自然度、语气和文化适宜性进行了评分，捕捉了自动评分无法涵盖的细微差别。

自动基准测试 – Alyah

Alyah (الياه，“北极星”) 是一个包含 1,173 个样本的选择题基准测试，由作者和社区创建，旨在测试阿联酋方言能力。它涵盖了问候语、习语、诗歌、遗产知识和特定语言类别。

结果

  • Alyah 准确率： 84.83% – 在所有比较的阿拉伯语和多语言模型中最高，包括几个更大的模型。
  • 方言保真度 (LLM-as-judge)： 部分得分 0.52，比排名第二的模型 (0.05) 高出两个数量级。
  • 开放式生成： Falcon-Emirati-7B 在正确性方面处于领先地位，并且始终以阿联酋阿拉伯语回答，而竞争模型则默认使用 MSA。
  • 文化理解 (ArabCulture-Dialogue UAE 子集)： 85.57% 的准确率，优于 ALLaM‑7B (83.39%) 和其他基准模型。

详细比较

  • 选择题与其它模型 – 仅靠规模并不能保证方言能力；针对性的方言训练至关重要。
  • LLM-as-judge 生成 – Falcon-Emirati-7B 是唯一在提示时能可靠切换到阿联酋语的模型，在诗歌和文化类别中的胜率为 0.69–0.88。
  • 类别级分析 – 该模型在所有 Alyah 类别中表现出色；唯一的激烈竞争出现在问候语方面，因为阿联酋语和 MSA 在此有重叠。

影响

结果表明，与单纯的规模扩展相比，针对方言的微调可以带来实质性的提升，特别是对于拥有丰富口头传统和文化细微差别的语言。Falcon-Emirati-7B 为需要真实阿联酋语交互的应用（如客户支持、文化内容生成和本地化 AI 助手）提供了实用的工具，同时也凸显了为每种方言建立专门数据流水线和评估基准的必要性。

负责任的 AI 与局限性

该模型可能会继承其训练数据中的偏见，并且在罕见表达或高度本地化的引用上可能会出错。方言的细微差别有时是主观的；母语人士可能对“正确”答案有不同意见。用户应针对其特定用例评估模型，并提供反馈以改进模型和 Alyah 基准测试。

如何尝试 Falcon‑Emirati‑7B

该模型可通过 Falcon 聊天平台访问：https://chat.falconllm.tii.ae/?model=Falcon-Emirati-7B。

引用

@misc{falcon_emirati_7b_2026,
  title = {Falcon-Emirati-7B: A Dialect-Specialized Arabic LLM for the Emirati Dialect},
  author = {Shaikha Alsuwaidi, Omar Alkaabi, Maitha Alhammadi, Hamza Alobeidli, Ahmed Alzubaidi, Mohammed Alyafeai, Leen AlQadi, Basma Boussaha, Hakim Hacid},
  organization = {Technology Innovation Institute},
  year = {2026}
}

Sources