zilliztech/VectorDBBench

해결하는 문제

VectorDBBench (VDBBench)는 다양한 벡터 데이터베이스 및 클라우드 서비스의 성능과 비용 효율성을 표준화된 방식으로 비교할 수 있도록 도와줍니다. 사용자가 벤치마크 결과를 재현하거나 다양한 지원되는 백엔드에서 새로운 시스템을 테스트할 수 있게 함으로써, 특정 요구사항에 최적의 데이터베이스를 찾는 데 필요한 추측을 제거합니다.

작동 방식

이 도구는 데이터 삽입, 검색, 필터링 검색을 포함한 다양한 테스트 시나리오를 실행함으로써 실제 생산 환경을 모방합니다. SIFT, GIST, Cohere와 같은 실제 생산 환경에서 사용되는 공개 데이터셋을 활용하며, 수많은 데이터베이스 클라이언트를 지원합니다. 사용자는 직관적인 시각적 인터페이스 또는 인덱싱 파라미터, 샤딩, 동시성과 같은 세부 설정 옵션을 제공하는 명령줄 인터페이스(CLI)를 통해 벤치마크를 시작할 수 있습니다.

대상 사용자

벡터 데이터베이스를 평가하고 선택해야 하는 개발자 및 시스템 아키텍트, 그리고 벤치마크 결과를 쉽게 재현하고 싶은 비전문가를 위한 것입니다.

주요 특징

• 광범위한 데이터베이스 지원: Milvus, Pinecone, Qdrant, Weaviate, Elastic, pgvector 등 다양한 오픈소스 및 클라우드 벡터 데이터베이스를 지원합니다.
• 시각적 인터페이스: 벤치마크 시작 및 비교 보고서 시각화를 위한 직관적인 UI를 제공합니다.
• 실제 시나리오: 생산 환경 수준의 데이터셋을 사용하고, 삽입 및 필터링 검색과 같은 시나리오를 테스트합니다.
• 비용 효율성 보고서: 클라우드 서비스의 비용 분석을 특별히 제공하여 벤치마크를 더 현실적으로 만듭니다.
• 전체 텍스트 검색 벤치마크: 최근에 지원되는 백엔드에서 BM25 스타일의 검색 벤치마크를 추가로 지원했습니다.