michaelfeil/infinity

Infinity is a high-throughput, low-latency serving engine for text-embeddings, reranking models, clip, clap and colpali

解决的问题

Infinity 提供了一个高吞吐量、低延迟的 REST API，用于服务检索增强生成 (RAG) 和搜索中使用的各种 AI 模型。它简化了来自 HuggingFace 的嵌入、重排序和多模态模型的部署，无需为这些特定任务构建自定义推理服务器。

运作原理

Infinity 基于 FastAPI 构建，使用 PyTorch、Optimum (ONNX/TensorRT) 和 CTranslate2 等快速推理后端来编排多个模型。它利用动态批处理、专用的分词工作线程和 FlashAttention，在包括 NVIDIA CUDA、AMD ROCm、CPU、AWS INF2 和 Apple MPS 在内的各种硬件加速器上优化性能。

目标用户

需要为搜索、聚类或多模态检索系统部署可扩展且与 OpenAI 兼容的嵌入和重排序服务的开发人员和机器学习工程师。

特色亮点

  • 广泛的模型支持：支持文本嵌入、重排序模型、CLIP、CLAP、ColBERT 和 ColPali 模型。
  • 硬件灵活性：支持多种加速器，包括 NVIDIA、AMD、Apple Silicon 和 CPU。
  • 与 OpenAI 兼容的 API：符合 OpenAI 的 API 规范，易于集成。
  • 多模型编排：能够通过单一 CLI 或环境变量同时启动和混合搭配多个模型。
  • 高效推理：实现动态批处理并支持实验性的 int8 和 fp8 精度。

相关

  • 项目
    Luce-Org/lucebox

    Lucebox 是一个面向大语言模型的开源 C++ 推理引擎，利用投机预填充和自定义 GPU 内核（CUDA/HIP）在消费级和混合 GPU 环境中大幅加速 token 生成。它支持多种模型（Qwen、DeepSeek、Gemma 等），提供视觉输入，并为 AMD 和 NVIDIA 显卡提供现成的硬件专用配置文件，在单 GPU 上可实现每秒数百个 token 的生成速度，并在异构配置下提供更高的吞吐量。

  • 项目
    NVIDIA/gpu-operator

    一个用于 Kubernetes 的自动化工具，可将 NVIDIA GPU 驱动程序、运行时和监控工具作为容器进行安装和生命周期管理。

  • 项目
    ModelTC/LightX2V

    LightX2V 是一个开源的推理框架，用于快速生成图像和视频。它支持多种模型（MiniMax‑H3、LTX‑2、HunyuanVideo‑1.5、Wan‑2.x、Qwen‑Image 等），并提供加速技巧，例如 4 步蒸馏 LoRA、FP8/NVFP4 量化、张量并行，以及在多种加速器上的解耦部署。用户通过单个 `LightX2VPipeline` 类进行交互，选择模型、变体和 JSON 配置，然后以任务（例如 t2av、t2v、i2i）调用 `generate`。报告的基准测试显示，在 H100 GPU 上相比 Diffusers 最高可达约 4 倍加速。该项目提供 Docker 镜像、macOS 应用、在线演示，以及丰富的文档和示例。

  • 项目
    thu-pacman/chitu

    一个具备生产级别、高性能的推理引擎，支持多样化硬件后端，并可为大型语言模型提供可扩展的部署。