microsoft/SPTAG

A distributed approximate nearest neighborhood search (ANN) library which provides a high quality vector index build, search and distributed online serving toolkits for large scale vector search scenario.

解決的問題

SPTAG 是專為大規模向量近似最近鄰（ANN）搜尋而設計。它允許使用者根據 L2 或餘弦距離，高效地在龐大資料集中找到與給定查詢向量最相似的向量。

工作原理

該函式庫結合空間分割樹與相對鄰域圖（RNG）來優化搜尋。提供兩種主要方法：

  • SPTAG-KDT：使用 kd 樹與 RNG，索引建立過程更高效。
  • SPTAG-BKT：使用平衡 k-均值樹與 RNG，對極高維資料提供更好的搜尋準確度。

搜尋過程首先使用空間分割樹找到初始種子向量，然後在 RNG 內進行迭代搜尋以優化結果。

適用對象

需要在十億規模資料集上進行快速、可擴展的 ANN 搜尋的開發者與研究人員，特別適用於高維向量資料集。

特色亮點

  • 最新更新：支援線上向量插入與刪除。
  • 分散式服務：可跨多台機器提供搜尋服務。
  • 詳細距離度量：支援 L2 與餘弦距離。

相關

  • 專案
    NGT-labs/NGT

    用於高維向量資料的高速近似最近鄰搜尋庫，支援圖、樹與量化索引方法。

  • 專案
    lmcinnes/pynndescent

    一個使用 Nearest Neighbor Descent 算法實現高速近似最近鄰搜尋的 Python 庫，支援廣泛的距離度量。

  • 專案
    antgroup/vsag

    A C++ vector indexing library for high-performance similarity search, featuring specialized indexes for both sparse and dense vectors and multi-language bindings.

  • 專案
    microsoft/DiskANN

    一個可組合的向量索引庫，可在各種資料庫儲存後端上實現可擴展且成本效益高的最近鄰搜尋。

  • 專案
    datastax/jvector

    一種結合 HNSW 與 DiskANN 的圖結構近似最近鄰搜尋索引，可在大型資料集上實現快速、記憶體高效的向量搜尋。