michaelfeil/infinity

Infinity is a high-throughput, low-latency serving engine for text-embeddings, reranking models, clip, clap and colpali

해결하는 문제

Infinity는 검색 증강 생성(RAG) 및 검색에 사용되는 다양한 AI 모델을 제공하기 위한 고처리량, 저지연 REST API를 제공합니다. HuggingFace의 임베딩, 리랭킹 및 멀티모달 모델 배포를 간소화하여, 이러한 특정 작업을 위해 사용자 지정 추론 서버를 구축할 필요를 없애줍니다.

작동 원리

FastAPI를 기반으로 구축된 Infinity는 PyTorch, Optimum (ONNX/TensorRT), CTranslate2와 같은 빠른 추론 백엔드를 사용하여 여러 모델을 오케스트레이션합니다. 동적 배치 처리, 토큰화 전용 워커 스레드, FlashAttention을 활용하여 NVIDIA CUDA, AMD ROCm, CPU, AWS INF2, Apple MPS를 포함한 다양한 하드웨어 가속기 전반에서 성능을 최적화합니다.

대상 사용자

검색, 클러스터링 또는 멀티모달 검색 시스템을 위해 확장 가능하고 OpenAI와 호환되는 임베딩 및 리랭킹 서비스를 배포해야 하는 개발자 및 ML 엔지니어.

주요 특징

  • 광범위한 모델 지원: 텍스트 임베딩, 리랭킹 모델, CLIP, CLAP, ColBERT 및 ColPali 모델을 제공합니다.
  • 하드웨어 유연성: NVIDIA, AMD, Apple Silicon 및 CPU를 포함한 광범위한 가속기를 지원합니다.
  • OpenAI 호환 API: OpenAI의 API 사양을 준수하여 통합이 용이합니다.
  • 멀티 모델 오케스트레이션: 단일 CLI 또는 환경 변수를 통해 여러 모델을 동시에 실행하고 조합할 수 있습니다.
  • 효율적인 추론: 동적 배치 처리를 구현하고 실험적인 int8 및 fp8 정밀도를 지원합니다.

관련

  • 프로젝트
    Luce-Org/lucebox

    Lucebox는 대규모 언어 모델을 위한 오픈소스 C++ 추론 엔진으로, 추측 사전 채우기와 맞춤형 GPU 커널(CUDA/HIP)을 사용하여 소비자용 및 혼합 GPU 설정에서 토큰 생성 속도를 획기적으로 높입니다. Qwen, DeepSeek, Gemma 등 많은 모델을 지원하며, 비전 입력을 제공하고 AMD 및 NVIDIA 카드용 하드웨어별 프로필을 즉시 제공하여 단일 GPU에서 초당 수백 개의 토큰을 생성하고 이기종 구성에서는 더 높은 처리량을 제공합니다.

  • 프로젝트
    NVIDIA/gpu-operator

    Kubernetes용 자동화 도구로 NVIDIA GPU 드라이버, 런타임, 모니터링 도구를 컨테이너로 설치 및 라이프사이클 관리합니다.

  • 프로젝트
    ModelTC/LightX2V

    LightX2V는 빠른 이미지 및 비디오 생성을 위한 오픈소스 추론 프레임워크입니다. 다양한 모델(MiniMax‑H3, LTX‑2, HunyuanVideo‑1.5, Wan‑2.x, Qwen‑Image 등)을 지원하며, 4단계 증류 LoRA, FP8/NVFP4 양자화, 텐서 병렬화, 다양한 가속기에서의 분리 배포와 같은 속도 향상 기법을 제공합니다. 사용자는 단일 `LightX2VPipeline` 클래스를 통해 상호작용하며, 모델, 변형, JSON 구성을 선택한 다음 작업(예: t2av, t2v, i2i)과 함께 `generate`를 호출합니다. 보고된 벤치마크에 따르면 H100 GPU에서 Diffusers 대비 최대 약 4배의 속도 향상을 보입니다. 이 프로젝트는 Docker 이미지, macOS 앱, 온라인 데모, 그리고 방대한 문서와 예제를 제공합니다.

  • 프로젝트
    thu-pacman/chitu

    다양한 하드웨어 백엔드를 지원하고 대규모 언어 모델을 위한 확장 가능한 배포가 가능한, 프로덕션 급 고성능 추론 엔진입니다.