Anush008/fastembed-rs

何を解決するか

FastEmbed-rs は、ベクトル埋め込みの生成とドキュメントの再ランク付けに向けた軽量でローカル優先のアプローチを提供します。外部API呼び出しや重い依存関係の必要性を排除し、開発者が最小限の設定でRustアプリケーションにテキスト、画像、スパース埋め込みを直接統合できるようにします。

動作方法

このライブラリは、パフォーマンスの高い推論に ort を通じた ONNX Runtime を活用し、高速なテキストエンコーディングには Hugging Face の tokenizers を使用しています。Hugging Face から多数の事前学習済みモデルをサポートしており、自動的にローカルにダウンロード・キャッシュされます。特定の高性能モデル（例：Qwen3 や Nomic MoE）には candle バックエンドを利用します。

対象ユーザー

RAG（検索拡張生成）パイプライン、検索エンジン、類似性検索アプリケーションを構築しているRust開発者で、CPUまたはGPU（WindowsではDirectML経由）上でローカルで埋め込みモデルを実行したい方。

特徴

• マルチモーダル対応：テキスト、画像、スパーステキスト表現の埋め込みを生成可能。
• ローカル推論：モデルがキャッシュされれば、実行時におけるネットワーク接続は不要。
• 広範なモデルライブラリ：BGE、sentence-transformers、Nomic、Qwen3 モデルを含む多数のモデルをサポート。量子化版も利用可能。
• 再ランク付け機能：候補の再ランク付けをサポートし、検索精度を向上。
• Tokio依存なし：非同期ランタイムを必要とせず、同期的に使用可能。
• 類似性ヘルパー：コサイン類似度やtop-kランク付けのための組み込み関数を提供。