microsoft/MS-MARCO-Web-Search
A large-scale information-rich web dataset, featuring millions of real clicked query-document labels
解决的问题
研究人员和工程师需要真实的大规模数据来训练和测试网络搜索检索系统。大多数公共数据集规模较小或为合成数据,因此在这些数据集上有效的方法在实际网络环境中可能会失效。本项目提供了一个反映真实网络查询和文档的数据集,以及用于比较不同检索方法的标准基准任务。
工作原理
该数据集基于 ClueWeb22 构建,这是一个包含约 100 亿个网页的集合。它增加了来自 93 种语言的 1000 万个唯一查询,以及从 Microsoft Bing 搜索日志中收集的数百万个真实点击标签。对于基准测试,提供了一个包含 1 亿个文档的子集,其中包含查询-文档相关性对。定义了三个任务:
- Embedding model ranking:使用嵌入模型根据查询对文档进行排序,通过 MRR 和召回率等指标进行评估。
- Embedding retrieval ranking:在预计算的嵌入向量上测试近似最近邻 (ANN) 搜索算法,衡量召回率和速度。
- End-to-end retrieval ranking:比较任何完整的检索流水线(例如 BM25、embedding + ANN、混合检索、神经索引器)的质量和延迟。
提供了每个任务的基准结果,以便可以直接比较新方法。
适用人群
本项目旨在服务于从事信息检索、机器学习和网络搜索系统的研究人员和开发人员。它对于研究嵌入模型、ANN 搜索或大规模数据处理的任何人也很有用。该数据集仅供非商业研究使用。
主要亮点
- 以 ClueWeb22 中的 100 亿个页面作为文档语料库
- 93 种语言的 1000 万个带有真实点击标签的查询
- 包含 1 亿个文档的子集,带有用于基准测试的训练/开发/测试集划分
- 三个互补的检索挑战:嵌入模型、嵌入检索和端到端检索
- 来自 DPR、ANCE、SimANS、SPANN、DiskANN 和 BM25 等方法的基准数据
- 针对完整的 100 亿文档集额外提供了 5 倍规模的点击标签
相关
- 项目
- 项目
- 项目
- 项目