xorbitsai/inference

Swap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.

해결하는 문제

Xinference는 대규모 AI 모델을 배포하고 서비스하는 복잡한 과정을 단순화합니다. 다양한 모델 유형에 대한 인프라 설정의 마찰을 없애고, 사용자는 단일 명령으로 실험 단계에서 프로덕션 단계로 이동할 수 있습니다.

작동 방식

Xinference는 텍스트, 음성 인식 및 멀티모달 모델을 포함한 다양한 모달리티를 지원하는 모델 서빙 레이어로 작동합니다. vLLM, GGML, TensorRT와 같은 다양한 추론 엔진을 활용하고, CPU와 GPU와 같은 이기종 하드웨어를 지능적으로 사용하여 성능을 최적화합니다. OpenAI와 호환되는 통합 RESTful API, WebUI 및 모델 관리를 위한 CLI를 제공합니다.

대상

연구원, 개발자, 데이터 과학자 등 다양한 하드웨어 구성(멀티 노드 클러스터 포함)에서 오픈소스 AI 모델을 빠르게 배포해야 하는 사람들.

하이라이트

  • 멀티모달 지원：LLM, 이미지(텍스트‑투‑이미지), 오디오 및 임베딩 모델을 제공.
  • 하드웨어 유연성：GGML 및 기타 엔진을 통해 CPU, Metal, GPU 가속을 지원.
  • 분산 배포：여러 장치 또는 머신에서 모델 실행 가능.
  • OpenAI 호환성：함수 호출을 지원하는 RESTful API 제공.
  • 광범위한 통합：LangChain, LlamaIndex, Dify, RAGFlow와 원활히 작동.