xLLM-AI/xllm

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

해결 과제

xLLM은 엔터프라이즈급 하드웨어에서 대규모 언어 모델(LLM)을 배포하는 비용을 절감하고 효율성을 높이기 위해 설계되었으며, 특히 중국 AI 가속기를 타겟으로 합니다. JD.com의 소매 운영 환경에서 대규모로 검증된 고처리량, 저지연 추론 프레임워크를 제공합니다.

작동 원리

이 프레임워크는 서비스와 엔진이 분리된 아키텍처를 사용합니다. 서비스 계층은 스케줄링과 가용성을 관리하고, 엔진 계층은 실제 계산을 처리합니다. 또한 하이브리드 KV 캐시 관리(Mooncake 기반)를 통합하여 지능적인 오프로딩 및 프리페칭을 통해 성능을 더욱 최적화합니다.

대상 사용자

Ascend NPU, Cambricon MLU, Moore Threads GPU, Hygon DCU, MetaX MACA, Iluvatar CoreX GPU와 같은 중국 AI 하드웨어에서 LLM을 배포해야 하는 기업 및 개발자를 위한 솔루션입니다.

주요 특징

  • 광범위한 하드웨어 지원: 다양한 중국 AI 가속기에 최적화되어 있습니다.
  • 엔터프라이즈급: 실제 소매 비즈니스 환경에서 대규모로 검증되었습니다.
  • 분리형 아키텍처: 서비스 스케줄링과 계산 엔진을 분리합니다.
  • 고성능: 추론을 위한 높은 처리량과 낮은 지연 시간을 제공하는 데 중점을 둡니다.

관련

  • 프로젝트
    ztxz16/fastllm

    로컬 및 서버 배포를 위해 설계된 고성능 LLM 추론 엔진으로, 혼합 장치 실행(GPU/CPU/디스크) 및 추측적 디코딩과 같은 고급 최적화 기술을 지원합니다.

  • 프로젝트
    ModelTC/LightLLM

    LightLLM은 Python 기반의 고성능 추론 및 서빙 프레임워크로, 대규모 언어 모델(LLM)을 위해 설계되었습니다. 빠른 커널(FlashAttention, Triton)과 경량 토큰‑레벨 KV‑캐시 관리를 결합하고, 멀티 GPU 확장을 지원하며, 제약 디코딩 및 SLA‑인식 요청 스케줄링과 같은 연구 수준 기능을 제공합니다.

  • 프로젝트
    kkokosa/dotLLM

    C#/.NET으로 네이티브하게 작성된 고성능 LLM 추론 엔진으로, Python이나 llama.cpp에 의존하지 않고 Transformer 모델에 대한 네이티브 CPU/GPU 지원을 제공합니다.

  • 프로젝트
    localai-org/vllm.cpp

    vLLM과 동일한 기능과 처리량을 제공하면서 Python/PyTorch 의존성을 제거하여 배포 크기를 140배 줄인 고성능 C++20 추론 엔진입니다.

  • 프로젝트
    vllm-project/vllm

    vLLM은 대규모 언어 모델의 높은 처리량과 낮은 지연 시간 서빙을 위한 오픈소스 라이브러리입니다. 효율적인 KV 캐시 처리를 위한 PagedAttention을 도입하고, 다양한 양자화 형식을 지원하며, 빠른 어텐션 커널을 통합하고, GPU, CPU 및 기타 가속기에서 실행되는 OpenAI 호환 API를 제공합니다.