Anush008/fastembed-rs

해결하는 문제

FastEmbed-rs는 벡터 임베딩 생성과 문서 재정렬을 위한 가볍고 로컬 우선의 접근 방식을 제공합니다. 외부 API 호출이나 무거운 종속성의 필요성을 제거하여, 개발자가 최소한의 설정으로 Rust 애플리케이션에 텍스트, 이미지, 스파스 임베딩을 직접 통합할 수 있도록 합니다.

작동 방식

이 라이브러리는 성능 높은 추론을 위해 ort를 통해 ONNX Runtime을 활용하고, 빠른 텍스트 인코딩을 위해 Hugging Face의 tokenizers를 사용합니다. Hugging Face에서 제공하는 다양한 사전 학습된 모델을 지원하며, 자동으로 로컬에 다운로드하고 캐시합니다. 특정 고성능 모델(예: Qwen3 또는 Nomic MoE)의 경우 candle 백엔드를 활용합니다.

대상 사용자

RAG(Retrieval-Augmented Generation) 파이프라인, 검색 엔진, 유사성 검색 애플리케이션을 구축하는 Rust 개발자 중에서 CPU 또는 GPU(Windows의 경우 DirectML을 통해)에서 로컬로 임베딩 모델을 실행하고자 하는 사용자.

주요 특징

• 다중 모달 지원: 텍스트, 이미지, 스파스 텍스트 표현에 대한 임베딩 생성 가능.
• 로컬 추론: 모델이 캐시된 이후 런타임에 네트워크 연결이 필요 없음.
• 풍부한 모델 라이브러리: BGE, sentence-transformers, Nomic, Qwen3 모델을 포함한 다양한 모델을 지원하며, 양자화된 버전도 포함.
• 재정렬 기능: 후보들을 재정렬하여 검색 정밀도를 향상시키는 내장 지원 제공.
• Zero-Tokio 종속성: 비동기 런타임이 필요 없이 동기적으로 사용 가능.
• 유사도 헬퍼: 코사인 유사도 및 top-k 랭킹을 위한 내장 함수 포함.