michaelfeil/infinity

Infinity is a high-throughput, low-latency serving engine for text-embeddings, reranking models, clip, clap and colpali

解決する課題

Infinityは、検索拡張生成（RAG）や検索で使用されるさまざまなAIモデルを提供するための、高スループットかつ低遅延なREST APIを提供します。HuggingFaceの埋め込み、リランキング、マルチモーダルモデルのデプロイを簡素化し、これらの特定のタスクのためにカスタム推論サーバーを構築する必要性を排除します。

仕組み

FastAPIをベースに構築されたInfinityは、PyTorch、Optimum (ONNX/TensorRT)、CTranslate2などの高速な推論バックエンドを使用して複数のモデルをオーケストレーションします。動的バッチ処理、トークン化専用のワーカー・スレッド、およびFlashAttentionを活用し、NVIDIA CUDA、AMD ROCm、CPU、AWS INF2、Apple MPSを含むさまざまなハードウェア・アクセラレータ全体でパフォーマンスを最適化します。

対象ユーザー

検索、クラスタリング、またはマルチモーダル検索システム向けに、スケーラブルでOpenAI互換の埋め込みおよびリランキングサービスをデプロイする必要がある開発者およびMLエンジニア。

ハイライト

  • 幅広いモデルサポート: テキスト埋め込み、リランキングモデル、CLIP、CLAP、ColBERT、ColPaliモデルを提供します。
  • ハードウェアの柔軟性: NVIDIA、AMD、Apple Silicon、CPUなど、幅広いアクセラレータをサポートします。
  • OpenAI互換API: OpenAIのAPI仕様に準拠しており、統合が容易です。
  • マルチモデル・オーケストレーション: 単一のCLIまたは環境変数を通じて、複数のモデルを同時に起動し、組み合わせることができます。
  • 効率的な推論: 動的バッチ処理を実装し、実験的なint8およびfp8精度をサポートします。

関連

  • プロジェクト
    Luce-Org/lucebox

    Luceboxは、大規模言語モデル向けのオープンソースC++推論エンジンで、投機的プリフィルとカスタムGPUカーネル（CUDA/HIP）を使用して、コンシューマおよび異種混合GPU構成でのトークン生成を劇的に高速化します。Qwen、DeepSeek、Gemmaなど多くのモデルをサポートし、ビジョン入力を提供し、AMDおよびNVIDIAカード向けの既製ハードウェア固有プロファイルを備え、単一GPUで毎秒数百トークンを実現し、異種混合構成ではさらに高いスループットを発揮します。

  • プロジェクト
    NVIDIA/gpu-operator

    Kubernetes 用の自動化ツールで、NVIDIA GPU ドライバ、ランタイム、モニタリングツールをコンテナとしてインストールおよびライフサイクル管理します。

  • プロジェクト
    ModelTC/LightX2V

    LightX2V は、高速な画像・動画生成のためのオープンソース推論フレームワークです。多くのモデル（MiniMax‑H3、LTX‑2、HunyuanVideo‑1.5、Wan‑2.x、Qwen‑Image など）をサポートし、4 ステップ蒸留 LoRA、FP8/NVFP4 量子化、テンソル並列化、さまざまなアクセラレータ上での分離デプロイといった高速化手法を提供します。ユーザーは単一の `LightX2VPipeline` クラスを通じて操作し、モデル、バリアント、JSON 設定を選択して、タスク（例：t2av、t2v、i2i）を指定して `generate` を呼び出します。報告されているベンチマークでは、H100 GPU 上で Diffusers に対して最大約 4 倍の高速化が示されています。このプロジェクトは Docker イメージ、macOS アプリ、オンラインデモ、そして充実したドキュメントとサンプルを提供しています。

  • プロジェクト
    thu-pacman/chitu

    多様なハードウェアバックエンドをサポートし、大規模言語モデル向けにスケーラブルなデプロイが可能な、プロダクションレベルの高性能推論エンジンです。