Falcon ASR 发布
Falcon-ASR 是由阿布扎比技术创新研究所 (TII) 开发的一款 16 亿参数的自动语音识别 (ASR) 模型。它专门针对阿拉伯语进行了优化,重点关注阿联酋方言,同时也支持英语、法语、西班牙语和葡萄牙语。
顶尖的阿拉伯语和阿联酋方言性能
Falcon-ASR 在公共和内部阿拉伯语基准测试中的表现均优于现有系统。在采用 Open Universal Arabic ASR Leaderboard 协议对六个测试集进行的评估中,Falcon-ASR 的平均词错误率 (WER) 为 20.92%,比之前公布的最佳结果 23.17% 提高了 2.25 个百分点。
针对阿联酋方言,TII 使用了留存录音和人工验证的转录内容进行了内部评估,以补充来自 Casablanca 数据集的公共数据。结果表明,Falcon-ASR 在对比系统中实现了最低的词错误率 (WER) 和字符错误率 (CER):
- 阿联酋方言 WER: 22.73%
- 阿联酋方言 CER: 10.19%
在此次内部评估中,Falcon-ASR 的 WER 比表现次优的模型 Qwen3-Omni 低 4.07 个百分点。
多语言能力与英语基准测试
Falcon-ASR 使用单一的模型权重集来转录五种不同的语言,无需语言标记。除阿拉伯语外,该模型还支持:
- 英语
- 法语
- 西班牙语
- 葡萄牙语
在 Hugging Face Open ASR Leaderboard 的七个公共英语测试集上进行评估时,Falcon-ASR 的平均 WER 为 5.74%。
对真实音频环境的鲁棒性
为了确保模型在会议和电话等日常场景中有效运行,TII 使用包含各种环境失真的音频对 Falcon-ASR 进行了训练。训练数据包括:
- 背景噪音和重叠语音
- 音乐和房间混响
- 电话效应
- 语速和音调的变化
技术基础与功能
Falcon-ASR 基于 Falcon3-Audio 框架构建。其架构和训练方法在研究论文 Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data 中有详细说明。
主要功能特性包括:
- 词级时间戳: 模型将每个转录的单词与其在音频文件中的具体位置相关联。
- 语言无关性: 模型使用相同的权重自动检测并转录所支持集合中的口语。
可用性
Falcon-ASR 目前可通过 Hugging Face Demo Space 进行测试。TII 已宣布计划在未来发布 API 访问权限和原生应用程序。
Sources
- OriginalIntroducing Falcon ASR