huggingface/text-embeddings-inference

解決する課題

Text Embeddings Inference (TEI) は、オープンソースのテキスト埋め込みモデルおよびシーケンス分類モデルのデプロイとサービングのための高性能ソリューションを提供します。複雑なモデルグラフのコンパイルの必要性を排除し、起動時間を短縮することで、サーバーレス環境に適しています。

動作原理

TEI は、REST API または gRPC を通じてモデルをサービングするツールキットとして機能します。推論速度を最大化するために、最適化された transformers コードと Flash Attention、Candle、cuBLASLt などのバックエンドを利用します。システムは、トークンベースの動的バッチングと、Safetensors および ONNX による重みの読み込みをサポートし、効率的なメモリと計算リソースの利用を確保します。

対象ユーザー

低レイテンシと高スループットで本番環境に埋め込みモデル（BGE、GTE、E5 など）やリランカーをデプロイする必要がある開発者や ML エンジニア向けに設計されています。

ハイライト

• 超高速推論: さまざまな NVIDIA GPU アーキテクチャ（Turing から Blackwell まで）および Apple Silicon (Metal) 向けに最適化されています。
• 本番環境対応: Open Telemetry による分散トレーシングと Prometheus メトリクスによる監視機能を備えています。
• Hugging Face 統合: Hugging Face Hub からの幅広いモデル ID を直接サポートします。
• 柔軟なデプロイ: 高速な起動時間を提供する小型の Docker イメージを提供し、エアギャップ環境でのデプロイをサポートします。
• 高度なバッチング: ハードウェアの利用効率を最大化するために、トークンベースの動的バッチングを実装しています。