harsha-simhadri/big-ann-benchmarks

Framework for evaluating ANNS algorithms on billion scale datasets.

它解决了什么问题

在海量数据集(数十亿条目)中查找最相似的项目是搜索和推荐系统的核心任务。不同的算法和硬件在该规模下的表现差异巨大,且此前缺乏公平比较它们的标准方法。本项目为研究人员和工程师提供了一套通用的基准测试,用于衡量和比较实际的最近邻搜索方法。

工作原理

它提供标准化的数据集和评估流程。该项目是 ann-benchmarks 项目的一个分支,扩展了对十亿级数据集和实际最近邻搜索变体的关注。它包含了针对两项 NeurIPS 竞赛的独立指南:2021 年的 "Billion-Scale ANN" 竞赛和 2023 年的 "Practical Vector Search" 竞赛。每项竞赛都有其专属的 README,解释了如何运行基准测试并汇总结果。按照相应 README 中的说明,可以将提交内容发布到 NeurIPS 2023 的持续排行榜上。

适用人群

从事近似最近邻搜索、向量数据库和大规模信息检索的研究人员和工程师。它对于评估商业或开源搜索系统与公共标准对比的团队也非常有用。

亮点

  • 针对十亿级数据集,不同于早期的较小规模基准测试
  • 涵盖算法和硬件性能
  • 支持 NeurIPS 2023 竞赛的持续排行榜提交
  • 基于广泛使用的 ann-benchmarks 项目,并增加了新的实际变体

相关

  • 项目
  • 项目
  • 项目
  • 项目