Open ASR Leaderboardにヒンディー語とインド英語用のMonsoonデータセットが追加されました

Hugging FaceとVoice Arenaは、ヒンディー語(hi-IN)とインド英語(en-IN)のためのMonsoon評価セットを導入することで、Open ASR Leaderboardを拡張しました。このアップデートにより、リーダーボードの多言語タブに初のグローバルサウスの言語が導入され、集計された単語誤り率(WER)を超えて、ASRのパフォーマンスが地理、年齢、性別、デバイスの種類によってどのように変化するかを明らかにします。

ASR評価における人口統計学的バイアスの対処

集計されたWERは、異なる話者集団間での大幅なパフォーマンスの格差を隠してしまうことがよくあります。研究では、商用ASRシステムが白人話者と比較して黒人話者の場合にパフォーマンスが著しく低下することが示されており、性別、年齢、アクセントによってさらなるバイアスが生じることが指摘されています。

これに対処するため、Monsoonデータセットは、これらの失敗モードを明らかにするために、テストセットが9つの特定の軸に沿って変化するフレームワークを提供します：

• Geography: 数百の地区にわたって採用が行われています。
• Devices and Acoustic Environments: スタジオのハードウェアではなく、貢献者の自身の端末と現実世界の接続（屋内および屋外）を使用しています。
• Vocabulary, Speech Type, and Rate: 意見、不一致、ナレーション、想起を促すように設計されたプロンプトにより、練習されていない言い回しや固有名詞を捉えます。
• Demographics: すべての話者について、検証済みの年齢と性別が提供されます。
• Reference Flexibility: 同じ音声に対して複数の有効なトランスクリプト（書き起こし）をサポートします。

データセットの構成と話者の多様性

Monsoonコレクションは、台本のないデュアルチャンネルの自然な会話から取得された4つのスプリット（両言語の公開および非公開セット）で構成されています。

Set	Language	Duration	Speakers	Mean/Median Clip Length	M/F	Districts	Devices	Style
Monsoon en-IN public	Indian English	5.62 h	1,444	9.6s / 10.4s	50/50	428	556	Conversational
Monsoon en-IN private	Indian English	5.58 h	1,405	9.6s / 10.4s	45/55	420	560	Conversational
Monsoon hi-IN public	Hindi	1.33 h	468	6.4s / 5.0s	315	202	315	Conversational
Monsoon hi-IN private	Hindi	4.47 h	1,571	6.6s / 5.3s	295	582	Conversational

主要な多様性指標

• Low Speaker Concentration: 上位10名の話者が全期間のわずか2.8%から6.8%を占めるのみであり、単一の声がスコアを支配しないようにしています。
• Hardware Variance: レコーディングは315から582の異なるデバイスモデルにわたっており、特定のマイクロフォンの特性への過学習を防いでいます。
• Regional Representation: インド英語のセットはインドの全6つのゾーンをカバーしており、セグメントの35%が南部、18%が東部、18%が中部、16%が北部、11%が西部からとなっています。

地域的なパフォーマンスの格差

詳細なメタデータ（職業、教育、居住地区を含むセグメントごとの12の属性）が含まれているため、モデルの失敗を詳細に分析することが可能です。

公開されているインド英語のスプリットにおける例証的なテストでは、8つのモデルがほぼ同一の集計WER（4.81から4.99の間）を示しました。しかし、地域ごとに分解すると、その差は顕著になりました：mistralai/Voxtral-Mini-3B-2507はゾーン間で1.68ポイントの差があり、中部のゾーン（4.38）では東部のゾーン（6.06）よりも大幅に優れたパフォーマンスを示しました。これは、標準的なリーダーボードで同一に見えるモデルが、話者の出身地によって信頼性が大きく異なる可能性があることを示しています。

ヒンディー語における表記揺れの扱い

ヒンディー語は、多くの綴り（特にコードミックスされた英語の単語や複合形式）に標準的なマッピングが存在しないため、独自の課題があります。標準的なWERは、書き起こし担当者が選択した特定の綴りとは異なる、有効な表記のバリエーションが選択された場合に、モデルを罰してしまうことがあります。

これを解決するために、ヒンディー語のセットではlatticeを使用しています。これは、トランスクリプトの各スパンに対して、認められるすべての正しい綴りのリストです。

Hugging Faceは現在、ヒンディー語に対して**Orthographically-Informed Word Error Rate (OIWER)**を報告しています。これは、lattice内の認められるすべての形式を正解としてカウントします。

WERとOIWERを比較すると、ランキングが逆転することがあります。つまり、あるシステムが優れた性能を示しているように見えるのは、単一の参照用トランスクリプトに基づいているだけで、音響認識能力が優れているからではなく、単に書き起こし担当者の綴りの好みに一致しているだけである可能性があります。

統合と評価プロセス

• Indian English: Voice Arena Monsoonとしてメインのリーダーボードに統合され、全体の平均WERに寄与します。
• Hindi: 多言語タブおよび「Language dataset breakdown」ドロップダウンから利用可能です。

非公開スプリットで評価を行うには、開発者はOpen ASR LeaderboardのGitHub経由でモデルをモデルを提出し、公開セットでの結果を検証した上で、Hugging Faceチームが非公開データを用いて指標を計算します。