microsoft/MS-MARCO-Web-Search

A large-scale information-rich web dataset, featuring millions of real clicked query-document labels

解決する課題

研究者やエンジニアは、Web検索検索システムをトレーニングおよびテストするために、現実的で大規模なデータを必要としています。公開されているデータセットのほとんどは小規模であるか合成されたものであるため、それらで機能する手法が実際のWeb環境では失敗する可能性があります。このプロジェクトは、実際のWebクエリとドキュメントを反映したデータセットと、さまざまな検索アプローチを比較するための標準的なベンチマークタスクを提供します。

仕組み

このデータセットは、約100億のWebページからなるコレクションであるClueWeb22に基づいて構築されています。93言語の1,000万のユニークなクエリと、Microsoft Bingの検索ログから収集された数百万の実際のクリックラベルが追加されています。ベンチマーク用には、クエリとドキュメントの関連性ペアを含む1億ドキュメントのサブセットが用意されています。以下の3つのタスクが定義されています。

  • Embedding model ranking:埋め込みモデルを使用してクエリに基づいてドキュメントをランク付けし、MRRや再現率などの指標で評価します。
  • Embedding retrieval ranking:事前計算された埋め込みベクトルに対して近似最近傍 (ANN) 探索アルゴリズムをテストし、再現率と速度を測定します。
  • End-to-end retrieval ranking:あらゆる完全な検索パイプライン(例:BM25、embedding + ANN、ハイブリッド、ニューラルインデクサー)の品質とレイテンシを比較します。

各タスクのベースライン結果が提供されているため、新しい手法を直接比較できます。

対象読者

情報検索、機械学習、Web検索システムに取り組む研究者や開発者を対象としています。また、埋め込みモデル、ANN探索、または大規模データ処理を研究している人にも役立ちます。このデータセットは非営利の研究目的でのみ使用可能です。

ハイライト

  • ドキュメントコーパスとしてClueWeb22の100億ページを使用
  • 93言語、1,000万の実際のクリックラベル付きクエリ
  • ベンチマーク用のトレーニング/開発/テスト分割を含む1億ドキュメントのサブセット
  • 3つの補完的な検索課題:埋め込みモデル、埋め込み検索、エンドツーエンド検索
  • DPR、ANCE、SimANS、SPANN、DiskANN、BM25などの手法によるベースライン数値
  • 100億ドキュメントのフルセットに対する5倍のクリックラベルを追加

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト