zilliztech/VectorDBBench

何を解決するか

VectorDBBench (VDBBench) は、さまざまなベクターデータベースおよびクラウドサービスのパフォーマンスとコスト効率を標準化された方法で比較するためのツールです。ユーザーがベンチマーク結果を再現したり、幅広い対応バックエンド上で新しいシステムをテストできるようにすることで、実際のニーズに最適なデータベースを特定するための推測を排除します。

動作方法

このツールは、データ挿入、検索、フィルタリング検索を含む多様なテストシナリオを実行することで、実際の生産環境を模倣します。SIFT、GIST、Cohere などの実際の生産環境から得られた公開データセットを使用し、多数のデータベースクライアントをサポートしています。ユーザーは直感的なビジュアルインターフェースまたは詳細な設定オプション（インデックスパラメータ、シャーディング、並行処理など）を備えたコマンドラインインターフェース（CLI）を使ってベンチマークを開始できます。

対象ユーザー

ベクターデータベースの評価・選定が必要な開発者やシステムアーキテクト、またベンチマーク結果を簡単に再現したい一般ユーザー向けに設計されています。

主な特徴

• 広範なデータベース対応: Milvus、Pinecone、Qdrant、Weaviate、Elastic、pgvector など、多数のオープンソースおよびクラウドベクターデータベースをサポート。
• ビジュアルインターフェース: ベンチマークの開始と比較レポートの表示に便利な直感的なUIを備えています。
• 実際のシナリオ: 生産環境レベルのデータセットを使用し、挿入やフィルタリング検索などのシナリオをテスト。
• コスト効率レポート: クラウドサービスのコスト分析を特に提供し、ベンチマークをより現実的なものにしています。
• 全文検索ベンチマーク: 最近、対応バックエンド上でBM25スタイルの検索ベンチマークをサポートする機能が追加されました。