zilliztech/VectorDBBench

解決的問題

VectorDBBench (VDBBench) 提供了一種標準化的方式，用以比較各種向量資料庫與雲端服務的效能與成本效益。它讓使用者能重現基準測試結果，或在廣泛支援的後端上測試新系統，消除猜測，幫助他們找到最符合特定需求的資料庫。

作法

此工具透過執行多樣化的測試情境（包含資料插入、搜尋與過濾搜尋）來模擬真實的生產環境。它使用來自實際生產情境的公開資料集（例如 SIFT、GIST 和 Cohere），並支援大量資料庫用戶端。使用者可透過直覺的視覺化介面，或具備詳細設定選項（如索引參數、分片與並行）的命令列介面（CLI）來啟動基準測試。

適用對象

專為需要評估與選擇向量資料庫的開發人員與系統架構師設計，也適合希望輕鬆重現基準測試結果的非專業人士。

主要亮點

• 廣泛的資料庫支援：支援多種開源與雲端向量資料庫，包括 Milvus、Pinecone、Qdrant、Weaviate、Elastic、pgvector 等。
• 視覺化介面：提供直覺的 UI 用於啟動基準測試與檢視對比報告。
• 真實情境測試：使用生產級資料集，並測試插入與過濾搜尋等實際情境。
• 成本效益報告：特別提供雲端服務的成本分析，使基準測試更具現實意義。
• 全文搜尋基準測試：最近新增對支援後端的 BM25 風格檢索基準測試支援。