Falcon ASR 릴리스

Falcon-ASR은 아부다비의 기술 혁신 연구소(TII)에서 개발한 16억 개의 파라미터를 가진 자동 음성 인식(ASR) 모델입니다. 이 모델은 아랍어, 특히 에미리트 방언에 최적화되어 있으며 영어, 프랑스어, 스페인어, 포르투갈어에 대한 지원도 제공합니다.

최첨단 아랍어 및 에미리트어 성능

Falcon-ASR은 공개 및 내부 아랍어 벤치마크 모두에서 기존 시스템을 능가합니다. 6개의 테스트 세트에 걸쳐 Open Universal Arabic ASR Leaderboard 프로토콜을 사용한 평가에서 Falcon-ASR은 평균 단어 오류율(WER) 20.92%를 달성하여, 기존 최고 기록인 23.17%를 2.25% 포인트 개선했습니다.

에미리트 방언의 경우, TII는 Casablanca 데이터셋의 공개 데이터를 보완하기 위해 보류된 녹음과 사람이 검증한 전사본을 사용하여 내부 평가를 수행했습니다. 결과는 Falcon-ASR이 비교된 시스템 중 가장 낮은 WER 및 문자 오류율(CER)을 달성했음을 보여줍니다:

• 에미리트어 WER: 22.73%
• 에미리트어 CER: 10.19%

이 내부 평가에서 Falcon-ASR의 WER은 차상위 모델인 Qwen3-Omni보다 4.07% 포인트 낮았습니다.

다국어 기능 및 영어 벤치마크

Falcon-ASR은 언어 플래그 없이 5개의 서로 다른 언어를 전사하기 위해 단일 모델 가중치 세트를 사용합니다. 아랍어 외에도 이 모델은 다음을 지원합니다:

• 영어
• 프랑스어
• 스페인어
• 포르투갈어

Hugging Face Open ASR Leaderboard의 7개 공개 영어 테스트 세트에서 평가했을 때, Falcon-ASR은 평균 WER 5.74%를 기록했습니다.

실제 오디오 환경에 대한 견고성

회의나 전화 통화와 같은 일상적인 환경에서 모델이 효과적으로 작동하도록 보장하기 위해, TII는 다양한 환경적 왜곡이 포함된 오디오로 Falcon-ASR을 학습시켰습니다. 학습 데이터에는 다음이 포함되었습니다:

• 배경 소음 및 겹치는 음성
• 음악 및 실내 잔향
• 전화 통신 효과
• 음성 속도 및 피치의 변화

기술적 기반 및 특징

Falcon-ASR은 Falcon3-Audio 프레임워크를 기반으로 구축되었습니다. 아키텍처와 학습 방법론은 연구 논문 Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data에 자세히 설명되어 있습니다.

주요 기능은 다음과 같습니다:

• 단어 수준 타임스탬프: 모델은 전사된 각 단어를 오디오 파일의 특정 위치에 연결합니다.
• 언어 비의존성: 모델은 동일한 가중치를 사용하여 지원되는 세트 내에서 구어체 언어를 자동으로 감지하고 전사합니다.

가용성

Falcon-ASR은 현재 Hugging Face Demo Space를 통해 테스트할 수 있습니다. TII는 향후 API 액세스 및 네이티브 애플리케이션 출시를 계획하고 있다고 발표했습니다.