harsha-simhadri/big-ann-benchmarks

Framework for evaluating ANNS algorithms on billion scale datasets.

解決する課題

巨大なデータセット(数十億件)の中から最も近いアイテムを見つけることは、検索システムやレコメンデーションシステムにおける中心的なタスクです。この規模ではアルゴリズムやハードウェアによってパフォーマンスが大きく異なり、これまで公平に比較するための標準的な方法が存在しませんでした。本プロジェクトは、研究者やエンジニアが実用的な最近傍探索手法を測定・比較するための共通のベンチマークセットを提供します。

仕組み

標準化されたデータセットと評価手順を提供します。本プロジェクトは ann-benchmarks プロジェクトのフォークであり、10億規模のデータセットと実用的な最近傍探索のバリエーションに焦点を当てて拡張されています。NeurIPSの2つのコンペティション(2021年の "Billion-Scale ANN" および 2023年の "Practical Vector Search")に向けた個別のガイドが含まれています。各コンペティションには、ベンチマークの実行方法と結果のまとめ方を説明する専用の README が用意されています。対応する README の指示に従うことで、NeurIPS 2023 の継続的なリーダーボードに提出を行うことができます。

対象読者

近似最近傍探索、ベクトルデータベース、大規模情報検索に取り組む研究者およびエンジニア。また、商用またはオープンソースの検索システムを公開標準と比較評価したいチームにも役立ちます。

ハイライト

  • 従来の小規模なベンチマークとは異なり、10億規模のデータセットをターゲットにしている
  • アルゴリズムとハードウェアの両方のパフォーマンスをカバー
  • NeurIPS 2023 コンペティションの継続的なリーダーボード提出をサポート
  • 広く利用されている ann-benchmarks プロジェクトをベースに、実用的な新しいバリエーションを追加

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト