Hugging Faceが検索埋め込み評価のためのRTEBを導入

Hugging Faceは、実世界のアプリケーション向けに埋め込みモデルの検索精度を信頼性高く評価することを目的とした新しい標準であるRetrieval Embedding Benchmark（RTEB）のベータ版を導入しました。RTEBは、オープンデータセットとプライベートデータセットのハイブリッド戦略を活用し、既存ベンチマークに見られる「汎化ギャップ」に対処し、モデルが「テストに合わせて学習」することを防ぎます。

検索における汎化ギャップへの対処

既存の検索ベンチマークは、公開データセット上で報告されたゼロショット性能と、未見の実世界データ上での実際の性能との間に乖離があることが多いです。これは主に以下の二つの要因によって引き起こされます：

• ベンチマーク過学習: 学習データが評価データセットと重複すると、モデルはテストデータを記憶してしまい、頑健で汎化可能な能力を育成せず、スコアが過大評価されます。
• アプリケーションの不整合: 現在の多くのベンチマークは、学術的またはQA由来のデータセットに依存しており、エンタープライズのユースケースにおける分布バイアスや複雑さを捉えきれない、あるいは範囲が狭すぎる（例：コード検索のみに焦点を当てる）という問題があります。

RTEBのハイブリッド評価戦略

モデルの汎化能力を公平かつ透明に測定するため、RTEBは二重データセットアプローチを採用しています：

• オープンデータセット: コーパス、クエリ、関連ラベルはすべて公開されており、透明性と再現性が確保されます。
• プライベートデータセット: これらは非公開とされ、MTEBメンテナが専用に評価します。データ漏洩を防ぎ、未見データ上の性能を偏りなく測定できます。透明性を保つため、Hugging Faceはこれらプライベートセットの記述統計、データセット説明、サンプル三項組を提供します。

オープンデータセットとプライベートデータセット間で顕著な性能低下が見られる場合、過学習の明確なシグナルとなります。

技術設計とドメイン焦点

RTEBはエンタープライズ向け検索タスクに最適化されており、以下の技術的仕様が特徴です：

ドメインと語彙のカバレッジ

• 多言語サポート: ベンチマークは20言語をカバーし、英語や日本語といった一般的な言語に加え、ベンガル語やフィンランド語などのリソースが少ない言語も含みます。
• エンタープライズドメイン: 法律、ヘルスケア、金融、コードなど、ハイステークスなドメインに特化しています。

評価指標とスケール

• 主要指標: デフォルトのリーダーボード指標は NDCG@10 で、ランク付けされた検索結果の品質を測る業界標準です。
• データセット効率: 各データセットは少なくとも1,000件の文書と50件のクエリを含み、統計的有意性を確保しつつ評価コストが過度に高くならないようにしています。

現在の制限と今後のロードマップ

Hugging Faceは、RTEBの継続的な進化に向けていくつかの課題を特定しています：

• QA再利用: 現在のデータセットの約50%はQAセットから再利用されており、語彙の重複が高くなり、意味的理解よりもキーワードマッチングが有利になる可能性があります。
• モダリティ拡張: 現行バージョンはテキストのみで、将来のリリースではテキスト・画像などのマルチモーダル検索タスクを組み込むことを目指しています。
• 言語拡張: 主要言語として中国語とアラビア語を追加し、さらに低リソース言語も拡充する取り組みが進行中です。
• スコープ: ベンチマークは現在、合成データセットのような高度に挑戦的なものではなく、実際的な検索優先のユースケースに焦点を当てています。

RTEBデータセット構成

オープンデータセット

オープンデータセットには、AILACasedocs と AILAStatutes（インドの法的文書）、FinanceBench と FinQA（財務レポート）、HumanEval と MBPP（コード）、そして ChatDoctor_HealthCareMagic（医療Q&A）など、さまざまな専門ソースが含まれます。

プライベートデータセット

プライベートデータセットには、ドイツ、日本、フランスの専門的な法的記録、英語とドイツ語のソースからの専門家が注釈付けしたヘルスケアデータ、そしてGitHubから抽出された専門的なコード関数が含まれます。