Hugging Face Open ASR Leaderboard, 이집트 및 나이지리아 영어 데이터셋 추가
새로운 ASR 데이터셋 개요
Hugging Face는 이집트 및 나이지리아 영어 억양을 구체적으로 다루는 두 개의 새로운 비공개 데이터셋을 Open ASR Leaderboard에 통합했습니다. Liva AI에서 제공한 이 데이터셋은 대화형의 자연스러운 발화로 구성되어 있으며, 자동 음성 인식(ASR) 시스템에서 더욱 다양하고 대표성 있는 평가 지표의 필요성을 해결하는 데 도움을 줍니다.
데이터셋 사양
새로 추가된 데이터는 다음과 같습니다:
| 데이터셋 | 억양 | 지속 시간 | 스타일 | 전사 세부 정보 |
|---|---|---|---|---|
| Liva AI Conversational EG | 이집트 | 1.34시간 | 대화형, 자연스러운 발화 | 구두점 포함, 대소문자 구분, 비유창성 포함 |
| Liva AI Conversational NG | 나이지리아 | 1.55시간 | 대화형, 자연스러운 발화 | 구두점 포함, 대소문자 구분, 비유창성 포함 |
향상된 억양 분류
더 세분화된 성능 통찰력을 제공하기 위해 Open ASR Leaderboard는 Kachru의 영어 3원 모델(Three Circles of English)을 기반으로 보고 구조를 업데이트했습니다. 이제 리더보드는 다음 두 가지 새로운 차원에 걸쳐 성능을 분류합니다:
- 미국 vs. 비미국: 영국, 호주, 캐나다, 인도, 나이지리아, 이집트를 포함합니다.
- 내부 원(Inner Circle) vs. 외부 및 확장 원(Outer & Expanding Circles): 내부 원 국가(미국, 영국, 호주, 캐나다)와 외부 및 확장 원 국가(인도, 나이지리아, 이집트)를 비교합니다.
Hugging Face는 플랫폼에 더 많은 지역 억양이 추가됨에 따라 외부 및 확장 원 카테고리를 추가로 세분화할 계획입니다.
데이터 출처 및 방법론
이 데이터의 포함은 비공개 데이터를 활용하여 특정 공개 테스트 세트에 모델을 최적화하는 관행인 '벤치맥싱(benchmaxxing)'을 최소화하려는 광범위한 이니셔티브의 일환입니다. 데이터 제공업체인 Liva AI는 소비자 제품 내의 멀티모달 상호작용을 통해 이 정보를 수집합니다. 이러한 접근 방식은 인위적으로 유도되거나 작업 기반의 음성 샘플에 의존하는 대신, 실제 환경에서 발생하는 자연스럽고 맥락이 풍부한 음성 행동을 포착할 수 있게 합니다.