Falcon ASR 发布

Falcon-ASR 是由阿布扎比技术创新研究所 (TII) 开发的一款 16 亿参数的自动语音识别 (ASR) 模型。它专门针对阿拉伯语进行了优化,重点关注阿联酋方言,同时也支持英语、法语、西班牙语和葡萄牙语。

顶尖的阿拉伯语和阿联酋方言性能

Falcon-ASR 在公共和内部阿拉伯语基准测试中的表现均优于现有系统。在采用 Open Universal Arabic ASR Leaderboard 协议对六个测试集进行的评估中,Falcon-ASR 的平均词错误率 (WER) 为 20.92%,比之前公布的最佳结果 23.17% 提高了 2.25 个百分点。

针对阿联酋方言,TII 使用了留存录音和人工验证的转录内容进行了内部评估,以补充来自 Casablanca 数据集的公共数据。结果表明,Falcon-ASR 在对比系统中实现了最低的词错误率 (WER) 和字符错误率 (CER):

  • 阿联酋方言 WER: 22.73%
  • 阿联酋方言 CER: 10.19%

在此次内部评估中,Falcon-ASR 的 WER 比表现次优的模型 Qwen3-Omni 低 4.07 个百分点。

多语言能力与英语基准测试

Falcon-ASR 使用单一的模型权重集来转录五种不同的语言,无需语言标记。除阿拉伯语外,该模型还支持:

  • 英语
  • 法语
  • 西班牙语
  • 葡萄牙语

在 Hugging Face Open ASR Leaderboard 的七个公共英语测试集上进行评估时,Falcon-ASR 的平均 WER 为 5.74%。

对真实音频环境的鲁棒性

为了确保模型在会议和电话等日常场景中有效运行,TII 使用包含各种环境失真的音频对 Falcon-ASR 进行了训练。训练数据包括:

  • 背景噪音和重叠语音
  • 音乐和房间混响
  • 电话效应
  • 语速和音调的变化

技术基础与功能

Falcon-ASR 基于 Falcon3-Audio 框架构建。其架构和训练方法在研究论文 Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data 中有详细说明。

主要功能特性包括:

  • 词级时间戳: 模型将每个转录的单词与其在音频文件中的具体位置相关联。
  • 语言无关性: 模型使用相同的权重自动检测并转录所支持集合中的口语。

可用性

Falcon-ASR 目前可通过 Hugging Face Demo Space 进行测试。TII 已宣布计划在未来发布 API 访问权限和原生应用程序。

Sources