qdrant/fastembed

Fast, Accurate, Lightweight Python library to make State of the Art Embedding

What it solves

FastEmbed 은 텍스트, 이미지, 멀티모달 임베딩을 빠르게 생성할 수 있는 경량 Python 라이브러리입니다. ONNX Runtime 을 사용함으로써 무거운 PyTorch 의존성 및 GPU 없이도 동작하여 AWS Lambda 와 같은 서버리스 환경이나 속도와 낮은 리소스 사용이 중요한 애플리케이션에 최적화됩니다.

How it works

FastEmbed 은 PyTorch 대신 ONNX Runtime 을 사용해 모델을 실행하므로 메모리 사용량이 감소하고 수 GB 규모의 의존성을 다운로드할 필요가 없습니다. 데이터 병렬 처리를 활용해 대규모 데이터셋 인코딩을 가속화합니다. 라이브러리는 dense, sparse (SPLADE++), late interaction (ColBERT), 멀티모달 (ColPali) 임베딩 및 rerankers (Cross Encoders) 등 다양한 임베딩 유형을 지원합니다.

Who it’s for

무거운 ML 프레임워크의 오버헤드 없이 임베딩 생성을 필요로 하는 AI 애플리케이션 개발자를 위한 것입니다. 특히 서버리스 런타임에 배포하거나 CPU 기반 고성능 추론을 목표로 하는 경우에 적합합니다.

Highlights

  • Lightweight Architecture: Uses ONNX Runtime to avoid PyTorch dependencies and GPU requirements by default.
  • Versatile Model Support: Supports dense text, sparse text, and image embeddings, as well ...
  • Broad Compatibility: Includes built-in support for popular models and the ability to add custom models from Hugging Face.
  • Qdrant Integration: Seamlessly integrates with the Qdrant vector database for easy collection creation and data upload.
  • GPU Acceleration: Optional GPU support via the fastembed-gpu package for increased performance.