Anush008/fastembed-rs

Rust library for generating vector embeddings, reranking locally!

What it solves

FastEmbed-rs は、ベクトル埋め込みとリランキングをローカルで生成するために設計された Rust ライブラリです。開発者が自身のハードウェア上で高性能な埋め込みモデルを直接実行できるようにすることで、外部 API コールを不要にし、テキスト、画像、および疎な埋め込みをサポートします。

How it works

このライブラリは、高性能な推論のために ONNX Runtime (via ort crate) を活用し、高速なテキストエンコーディングのために Hugging Face tokenizers ライブラリを使用します。Hugging Face からの多種多様な事前学習済みモデルをサポートしており、モデルは自動的にダウンロードされローカルにキャッシュされます。Qwen3 や Nomic v2 MoE のような特定の高度なモデルについては、candle バックエンドを使用します。

Who it’s for

クラウドサービスに依存せず、埋め込み生成やリランキングをアプリケーションに統合したい Rust 開発者、特に RAG (Retrieval-Augmented Generation) パイプラインや類似度検索ツールを構築している開発者向けです。

Highlights

  • Multimodal Support: テキスト、画像、および疎なテキスト表現の埋め込みを生成します。
  • Local Reranking: 検索精度を向上させるための候補のリランキング機能を内蔵しています。
  • BGE-M3 Integration: 1回のフォワードパスで、高密度、疎、および ColBERT 埋め込みを生成できます。
  • Hardware Acceleration: CPU 推論および Windows 上の DirectML による GPU 加速をサポートします。
  • Zero-Dependency Async: 同期的な使用が可能であり、Tokio に依存しません。
  • Built-in Similarity Tools: 追加の crate を必要とせず、コサイン類似度や top-k ランキングのヘルパー関数を提供します。