zilliztech/VectorDBBench

解决的问题

VectorDBBench (VDBBench) 为比较各种向量数据库和云服务的性能与成本效益提供了一种标准化方法。它通过允许用户复现基准测试结果或在广泛支持的后端上测试新系统，消除了用户的猜测，帮助他们找到最适合自身需求的数据库。

工作原理

该工具通过运行多样化的测试场景（包括数据插入、搜索和过滤搜索）来模拟真实生产环境。它使用来自实际生产场景的公开数据集（如 SIFT、GIST 和 Cohere），并支持大量数据库客户端。用户可以通过直观的可视化界面或带有详细配置选项（如索引参数、分片和并发）的命令行界面（CLI）启动基准测试。

适用人群

专为需要评估和选择向量数据库的开发人员和系统架构师设计，也适用于希望轻松复现基准测试结果的非专业人士。

主要亮点

• 广泛的数据库支持：支持多种开源和云向量数据库，包括 Milvus、Pinecone、Qdrant、Weaviate、Elastic、pgvector 等。
• 可视化界面：提供直观的 UI 用于启动基准测试和查看对比报告。
• 真实场景测试：使用生产级数据集，并测试插入和过滤搜索等实际场景。
• 成本效益报告：特别提供云服务的成本分析，使基准测试更具现实意义。
• 全文搜索基准测试：最近新增对支持后端的 BM25 风格检索基准测试的支持。