qdrant/fastembed

Fast, Accurate, Lightweight Python library to make State of the Art Embedding

What it solves

FastEmbed は、テキスト、画像、マルチモーダル埋め込みを高速に生成できる軽量な Python ライブラリです。ONNX Runtime を利用することで、重い PyTorch 依存や GPU が不要となり、サーバーレス環境（例: AWS Lambda）や、速度と低リソース消費が重要なアプリケーションに最適です。

How it works

FastEmbed は PyTorch の代わりに ONNX Runtime を使用してモデルを実行するため、メモリフットプリントが小さく、数 GB もの依存ファイルをダウンロードする必要がありません。データ並列処理を用いて大規模データセットのエンコードを高速化します。ライブラリは dense、sparse（SPLADE++）、late interaction（ColBERT）、マルチモーダル（ColPali）埋め込み、さらにはリランカー（Cross Encoders）など、幅広い埋め込みタイプをサポートします。

Who it’s for

重い機械学習フレームワークのオーバーヘッドなしに埋め込み生成が必要な AI アプリケーション開発者向けです。特にサーバーレスランタイムへのデプロイや、CPU ベースの高性能推論を目指すケースに適しています。

Highlights

  • Lightweight Architecture: Uses ONNX Runtime to avoid PyTorch dependencies and GPU requirements by default.
  • Versatile Model Support: Supports dense text, sparse text, and image embeddings, as well as late interaction and multimodal models.
  • Broad Compatibility: Includes built-in support for popular models and the ability to add custom models from Hugging Face.
  • Qdrant Integration: Seamlessly integrates with the Qdrant vector database for easy collection creation and data upload.
  • GPU Acceleration: Optional GPU support via the fastembed-gpu package for increased performance.