harsha-simhadri/big-ann-benchmarks

Framework for evaluating ANNS algorithms on billion scale datasets.

해결하는 문제

거대한 데이터셋(수십억 개의 항목)에서 가장 가까운 항목을 찾는 것은 검색 및 추천 시스템의 핵심 작업입니다. 이러한 규모에서는 알고리즘과 하드웨어에 따라 성능 차이가 매우 크며, 이를 공정하게 비교할 표준적인 방법이 없었습니다. 이 프로젝트는 연구자와 엔지니어에게 실용적인 최근접 이웃 탐색 접근 방식을 측정하고 비교할 수 있는 공통 벤치마크 세트를 제공합니다.

작동 방식

표준화된 데이터셋과 평가 절차를 제공합니다. 이 프로젝트는 ann-benchmarks 프로젝트의 포크 버전으로, 10억 규모의 데이터셋과 실용적인 최근접 이웃 탐색 변형에 중점을 두도록 확장되었습니다. 두 가지 NeurIPS 대회인 2021년 "Billion-Scale ANN" 대회와 2023년 "Practical Vector Search" 대회를 위한 별도의 가이드가 포함되어 있습니다. 각 대회에는 벤치마크 실행 방법과 결과 요약 방법을 설명하는 전용 README가 있습니다. 해당 README의 지침에 따라 NeurIPS 2023의 지속적인 리더보드에 제출할 수 있습니다.

대상 사용자

근사 최근접 이웃 탐색, 벡터 데이터베이스, 대규모 정보 검색 분야의 연구자 및 엔지니어. 또한 상용 또는 오픈 소스 검색 시스템을 공공 표준과 비교 평가하려는 팀에게도 유용합니다.

주요 특징

  • 이전의 소규모 벤치마크와 달리 10억 규모의 데이터셋을 대상으로 함
  • 알고리즘 및 하드웨어 성능을 모두 포함
  • NeurIPS 2023 대회의 지속적인 리더보드 제출 지원
  • 널리 사용되는 ann-benchmarks 프로젝트를 기반으로 하며, 새로운 실용적 변형을 추가함

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트