Hugging Face Open ASR Leaderboardにエジプト英語およびナイジェリア英語のデータセットが追加されました
新しいASRデータセットの概要
Hugging Faceは、エジプト英語およびナイジェリア英語のアクセントを対象とした2つの新しいプライベートデータセットをOpen ASR Leaderboardに統合しました。Liva AIによって提供されたこれらのデータセットは、会話形式の自然な発話で構成されており、自動音声認識（ASR）システムにおいて、より多様で代表的な評価指標の必要性に応えるものです。
データセットの仕様
新たに追加されたデータは以下の通りです。
| データセット | アクセント | 時間 | スタイル | 文字起こしの詳細 |
|---|---|---|---|---|
| Liva AI Conversational EG | エジプト | 1.34時間 | 会話形式、自然発話 | 句読点あり、大文字小文字あり、言い淀みあり |
| Liva AI Conversational NG | ナイジェリア | 1.55時間 | 会話形式、自然発話 | 句読点あり、大文字小文字あり、言い淀みあり |
アクセント分類の強化
より詳細なパフォーマンス分析を提供するため、Open ASR LeaderboardはKachruの「英語の3つの円」モデルに基づき、レポート構造を更新しました。リーダーボードでは、以下の2つの新しい次元でパフォーマンスを分類します。
- 米国 vs. 米国以外: 英国、オーストラリア、カナダ、インド、ナイジェリア、エジプトを含みます。
- 内側の円 vs. 外側の円および拡大する円: 内側の円の国々（米国、英国、オーストラリア、カナダ）と、外側の円および拡大する円の国々（インド、ナイジェリア、エジプト）を比較します。
Hugging Faceは、今後プラットフォームに地域アクセントが追加されるにつれて、外側の円および拡大する円のカテゴリをさらに細分化する予定です。
データの出所と手法
このデータの追加は、公開されている既知のテストセットに対してモデルを最適化する「ベンチマクシング（benchmaxxing）」を最小限に抑え、非公開のホールドアウトデータを利用するという広範な取り組みの一環です。データ提供元のLiva AIは、消費者向け製品におけるマルチモーダルな対話を通じてこの情報を収集しています。このアプローチにより、人工的に引き出されたりタスクに基づいたりした音声サンプルに頼るのではなく、現実世界の環境で発生する自然で文脈に富んだ発話行動を捉えることが可能になります。