Hugging Face Open ASR リーダーボード：ベンチマックス防止のためのプライベートデータセット
Hugging Face Open ASR リーダーボード：ベンチマックス防止のためのプライベートデータセット
Hugging Face は、Appen Inc. と DataoceanAI が提供するプライベート評価データセットを Open ASR リーダーボードに統合しました。このアップデートは、公開ベンチマークテストセットに特化してモデルを最適化する「ベンチマックス」行為を防止し、多様な実世界の音声条件における自動音声認識（ASR）モデルの性能をより信頼できる形で測定することを目的としています。
プライベートデータでベンチマックスを防止する
リーダーボードの順位が特定の公開データセットへの最適化ではなく、モデルの真の堅牢性を反映するようにするため、Hugging Face は新しい高品質データセットを非公開にしています。このアプローチは、開発者が公開テストセットを訓練に使用したり、テストセットに極めて類似したデータを探してマクロ平均スコアを人工的に上げるといったテストセット汚染のリスクを軽減します。
Open ASR リーダーボードは、オープンソースの UI コードや評価スクリプトを通じてオープン性へのコミットメントを維持していますが、プライベートセットの導入により必要なバランスが取られます。モデル開発者がアクセスできないデータを使用することで、リーダーボードはモデル性能のギャップやバイアスをより正確に特定でき、特に会話音声や米国以外のアクセントといった飽和していないシーンで有効です。
新しい評価データセットとカバレッジ
| データセット | アクセント | 継続時間 [h] | 男性 (%) / 女性 (%) | スタイル | 転写 |
|---|---|---|---|---|---|
| Appen Scripted AU | オーストラリア | 1.42 | 49 / 51 | 読み上げ | 句読点付き、大小文字あり |
| Appen Scripted CA | カナダ | 1.53 | 52 / 48 | 読み上げ | 句読点付き、大小文字あり |
| Appen Scripted IN | インド | 1.02 | 49 / 51 | 読み上げ | 句読点付き、大小文字あり |
| Appen Scripted US | アメリカ | 1.45 | 49 / 51 | 読み上げ | 句読点付き、大小文字あり |
| Appen Conversational IN | インド | 1.37 | 51 / 49 | 会話的、自然発話 | 句読点付き、間投詞あり |
| Appen Conversational US003 | アメリカ | 1.64 | 49 / 51 | 会話的、自然発話 | 句読点付き、大小文字あり、間投詞あり |
| Appen Conversational US004 | アメリカ | 1.65 | 49 / 51 | 会話的、自然発話 | 句読点付き、間投詞あり |
| DataoceanAI Scripted US | アメリカ | 2.43 | 54 / 46 | 読み上げ | 句読点付き、固有名詞の大小文字あり、間投詞あり |
| DataoceanAI Scripted GB | イギリス | 2.43 | 47 / 53 | 読み上げ | 句読点付き、間投詞あり |
| DataoceanAI Conversational US | アメリカ | 8.82 | NA | 会話的、自然発話 | 句読点付き、間投詞あり |
| DataoceanAI Conversational GB | イギリス | 5.96 | NA | 会話的、自然発話 | 句読点付き、間投詞あり |
ターゲット指標とリーダーボード機能
リーダーボードには現在、「Private data」タブが追加され、特定のマクロ平均指標で性能のニュアンスを強調しています：
- 平均 WER: データプロバイダーごとの平均のマクロ平均で、プロバイダー間の重み付けを均等にします。
- 平均 スクリプト: すべてのスクリプトデータセットのマクロ平均。
- 平均 会話: すべての会話データセットにわたる ASR パフォーマンス。
- 平均 US: アメリカアクセントを含むすべてのデータセットのマクロ平均。
- 平均 non-US: 米国以外のアクセントを含むすべてのデータセットのマクロ平均。
開発者が特定のアクセントやプロバイダーに最適化することを防ぐため、各スプリットの個別スコアは提供されません。デフォルトでは、リーダーボード上の平均語彙誤り率（WER）は公開データセットのみで計算されます。ユーザーは「Private data」スプリットを手動でオンにし、これらを含めた場合のマクロ平均と結果としてのモデル順位（Rank Δ）への影響を確認できます。
モデル評価プロセス
モデル開発者は、以下の手順でプライベートデータ上でモデルを評価してもらうことができます：
- Open ASR Leaderboard GitHub リポジトリにプルリクエストを送信する。
- モデルチェックリストを通じて公開データセット上の結果を報告する。
- Hugging Face が公開結果を検証し、プライベートデータセット上で指標を計算する。
- 開発者が最終結果を確認する。
あるいは、開発者はモデルカードに YAML ファイルを追加して公開セットの指標を自己報告することができ、これによりデータセットページ上の未検証リーダーボードにモデルが掲載されます。
標準化と堅牢性
有意義なベンチマークを維持するため、Hugging Face は OpenAI Whisper 正規化ツールをベースにしたノーマライザを使用しています。このツールは、句読点と大小文字を除去し、テキストを米国英語表記に変換することで、モデル出力とデータセットの転写を標準化します。すべてのテストセットは Hub 上の単一データセットに統合され、アクセスとプレビューが容易になっています。