xorbitsai/inference

해결하는 문제

Xinference는 대규모 AI 모델의 배포 및 서빙을 간소화합니다. 언어, 음성 인식 및 멀티모달 모델을 위한 인프라 관리의 복잡성을 제거하여 사용자가 단일 명령어로 최첨단 오픈 소스 모델을 배포할 수 있도록 합니다.

작동 방식

Xinference는 다양한 추론 엔진(예: vLLM, GGML, TensorRT)에 대한 통합 인터페이스를 제공하는 모델 서빙 라이브러리 역할을 합니다. 이기종 하드웨어 활용을 지원하여 모델이 GPU와 CPU 전반에서 실행될 수 있도록 합니다. 또한 분산 배포를 제공하여 여러 머신이나 장치에 추론 작업을 분산시킬 수 있습니다.

대상 사용자

복잡한 백엔드 인프라를 관리하지 않고 실험이나 프로덕션을 위해 AI 모델을 서빙해야 하는 연구자, 개발자 및 데이터 과학자.

주요 특징

• 멀티모달 지원: LLM, 이미지 생성, 텍스트 임베딩 및 오디오 모델을 서빙합니다.
• OpenAI 호환: Function Calling 지원을 포함하여 OpenAI와 호환되는 RESTful API를 제공합니다.
• 하드웨어 유연성: GGML을 통해 GPU, CPU 및 Metal(Apple Silicon)을 지능적으로 활용합니다.
• 엔터프라이즈 준비 완료: 다중 노드 클러스터 배포를 지원하며 LangChain, LlamaIndex, Dify와 같은 도구와 통합됩니다.
• 성능 최적화: 더 높은 처리량을 위한 자동 배치(auto-batching)와 Xllamacpp를 통한 연속 배치(continuous batching)를 포함합니다.