qdrant/fastembed

Fast, Accurate, Lightweight Python library to make State of the Art Embedding

What it solves

FastEmbed 是一個輕量級的 Python 函式庫，用於快速生成文字、影像與多模態嵌入。它使用 ONNX Runtime，避免了沉重的 PyTorch 依賴與 GPU 要求，非常適合無伺服器環境（如 AWS Lambda）以及對速度與低資源消耗有嚴格需求的應用。

How it works

FastEmbed 採用 ONNX Runtime 取代 PyTorch 來執行模型，顯著降低記憶體佔用，且無需下載數 GB 的依賴。透過資料平行化加速大規模資料集的編碼。函式庫支援多種嵌入類型，包括 dense、sparse（SPLADE++）、late interaction（ColBERT）以及 multimodal（ColPali）嵌入，亦支援 rerankers（Cross Encoders）。

Who it’s for

適用於需要產生嵌入卻不想引入沉重機器學習框架的 AI 開發者，特別是部署到無伺服器執行環境或追求高效能 CPU 推論的情境。

Highlights

  • Lightweight Architecture: Uses ONNX Runtime to avoid PyTorch dependencies and GPU requirements by default.
  • Versatile Model Support: Supports dense text, sparse text, and image embeddings, as well ...
  • Broad Compatibility: Includes built-in support for popular models and the ability to add custom models from Hugging Face.
  • Qdrant Integration: Seamlessly integrates with the Qdrant vector database for easy collection creation and data upload.
  • GPU Acceleration: Optional GPU support via the fastembed-gpu package for increased performance。