microsoft/MS-MARCO-Web-Search
A large-scale information-rich web dataset, featuring millions of real clicked query-document labels
해결 과제
연구자와 엔지니어는 웹 검색 시스템을 학습하고 테스트하기 위해 현실적이고 대규모인 데이터가 필요합니다. 대부분의 공개 데이터셋은 규모가 작거나 합성 데이터이기 때문에, 해당 데이터셋에서 작동하는 방법이 실제 웹 환경에서는 실패할 수 있습니다. 이 프로젝트는 실제 웹 쿼리와 문서를 반영한 데이터셋과 다양한 검색 접근 방식을 비교하기 위한 표준 벤치마크 작업을 제공합니다.
작동 방식
이 데이터셋은 약 100억 개의 웹 페이지 모음인 ClueWeb22를 기반으로 구축되었습니다. 93개 언어의 1,000만 개 고유 쿼리와 Microsoft Bing 검색 로그에서 수집된 수백만 개의 실제 클릭 라벨이 추가되었습니다. 벤치마크를 위해 쿼리-문서 관련성 쌍을 포함하는 1억 개의 문서 하위 집합이 제공됩니다. 세 가지 작업이 정의되어 있습니다.
- Embedding model ranking: 임베딩 모델을 사용하여 쿼리에 따라 문서 순위를 매기고 MRR 및 재현율과 같은 지표로 평가합니다.
- Embedding retrieval ranking: 사전 계산된 임베딩 벡터에서 근사 최근접 이웃 (ANN) 검색 알고리즘을 테스트하여 재현율과 속도를 측정합니다.
- End-to-end retrieval ranking: 모든 전체 검색 파이프라인(예: BM25, embedding + ANN, 하이브리드, 신경망 인덱서)의 품질과 지연 시간을 비교합니다.
각 작업에 대한 기준 결과가 제공되므로 새로운 방법을 직접 비교할 수 있습니다.
대상 사용자
정보 검색, 머신 러닝, 웹 검색 시스템을 연구하는 연구자와 개발자를 대상으로 합니다. 또한 임베딩 모델, ANN 검색 또는 대규모 데이터 처리를 연구하는 모든 사람에게 유용합니다. 이 데이터셋은 비영리 연구 목적으로만 사용해야 합니다.
주요 특징
- 문서 코퍼스로 ClueWeb22의 100억 페이지 사용
- 93개 언어의 1,000만 개 실제 클릭 라벨 포함 쿼리
- 벤치마크를 위한 학습/개발/테스트 분할이 포함된 1억 개의 문서 하위 집합
- 세 가지 상호 보완적인 검색 과제: 임베딩 모델, 임베딩 검색, 엔드투엔드 검색
- DPR, ANCE, SimANS, SPANN, DiskANN, BM25와 같은 방법의 기준 수치 제공
- 전체 100억 문서 세트에 대한 5배 더 큰 클릭 라벨 추가
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트