huggingface/text-embeddings-inference

해결하는 문제

Text Embeddings Inference(TEI)는 오픈소스 텍스트 임베딩 및 시퀀스 분류 모델을 배포하고 서빙하기 위한 고성능 솔루션을 제공합니다. 복잡한 모델 그래프 컴파일의 필요성을 제거하고 부팅 시간을 단축하여 서버리스 환경에 적합합니다.

작동 방식

TEI는 REST API 또는 gRPC를 통해 모델을 서빙하는 툴킷으로 작동합니다. 추론 속도를 극대화하기 위해 최적화된 transformers 코드와 Flash Attention, Candle, cuBLASLt와 같은 백엔드를 활용합니다. 이 시스템은 효율적인 메모리와 컴퓨트 사용량을 보장하기 위해 토큰 기반 동적 배치 및 Safetensors와 ONNX를 통한 가중치 로딩을 지원합니다.

대상 사용자

낮은 지연 시간과 높은 처리량으로 프로덕션 환경에 임베딩 모델(BGE, GTE, E5 등) 또는 리랭커를 배포해야 하는 개발자와 ML 엔지니어를 위해 설계되었습니다.

주요 특징

• 초고속 추론: 다양한 NVIDIA GPU 아키텍처(Turing부터 Blackwell까지) 및 Apple Silicon(Metal)에 최적화되었습니다.
• 프로덕션 준비 완료: 모니터링을 위해 Open Telemetry 기반 분산 트레이싱과 Prometheus 메트릭스를 포함합니다.
• Hugging Face 통합: Hugging Face Hub의 다양한 모델 ID를 직접 지원합니다.
• 유연한 배포: 빠른 부팅 시간을 위한 작은 Docker 이미지를 제공하며, 에어갭 배포를 지원합니다.
• 고급 배치: 하드웨어 활용률을 극대화하기 위해 토큰 기반 동적 배치를 구현했습니다.