baidu/vLLM-Kunlun

vLLM Kunlun (vllm-kunlun) is a community-maintained hardware plugin designed to seamlessly run vLLM on the Kunlun XPU.

해결하는 문제

Kunlun XPU 하드웨어에서 vLLM 추론 엔진을 실행할 수 있게 합니다. 하드웨어 플러그형 인터페이스를 제공하여 사용자가 vLLM 핵심 소스 코드를 수정하지 않고도 인기 있는 오픈소스 LLM 및 멀티모달 모델을 Kunlun XPU에 배포할 수 있습니다.

작동 방식

이 프로젝트는 vLLM용 커뮤니티 유지 관리 하드웨어 플러그인 역할을 합니다. 플랫폼별 로직, 사용자 정의 연산자(FlashMLA 및 융합 MoE 커널 등), 양자화 지원을 구현하여 vLLM의 고수준 엔진과 Kunlun XPU 아키텍처 간의 격차를 메웁니다. 또한 하드웨어 가속 그래프 최적화를 위한 "Piecewise Kunlun Graph"도 포함합니다.

대상 사용자

Kunlun3 P800 하드웨어를 사용하고 다양한 생성 및 멀티모달 모델에 대해 vLLM의 고성능 추론 기능을 활용하려는 개발자 및 AI 엔지니어를 위한 것입니다.

주요 기능

  • 광범위한 모델 지원: Qwen, Llama, DeepSeek, GLM, Gemma4 등 20개 이상의 주류 모델과 호환됩니다.
  • 하드웨어 가속: Piecewise Kunlun Graph 및 FlashMLA와 같은 최적화된 어텐션 메커니즘을 제공합니다.
  • 양자화: W8A8, AWQ, GPTQ 및 압축 텐서 W4A16을 지원합니다.
  • 고급 디코딩: MTP(멀티 토큰 예측) 및 DFlash/EAGLE 스타일 제안자를 통한 추측 디코딩을 구현합니다.
  • OpenAI 호환: 모델 서빙을 위한 표준 OpenAI API 인터페이스를 제공합니다.

관련

  • 프로젝트
    vllm-project/vllm-ascend

    vLLM Ascend는 vLLM LLM 서빙 엔진이 Huawei Ascend NPU에서 실행될 수 있게 하는 하드웨어 플러그인입니다. 다양한 Atlas NPU 하드웨어를 지원하며, Linux, Python 3.10‑3.12, CANN 9.1.0, PyTorch 2.10.0 + TorchNPU가 필요하고 특정 vLLM 버전과 일치합니다. 이 프로젝트는 정기적인 릴리스, 상세한 문서, 활발한 커뮤니티(Slack, 포럼, 주간 회의)를 제공합니다. Apache 2.0 라이선스입니다.

  • 프로젝트
    xLLM-AI/xllm

    중국 AI 가속기에 최적화된 효율적인 LLM 추론 프레임워크로, 높은 처리량과 낮은 지연 시간의 엔터프라이즈 배포를 지원합니다.

  • 프로젝트
    vllm-project/vllm-metal

    vLLM Metal은 MLX/Metal 백엔드를 사용하여 Apple Silicon Mac에서 vLLM LLM 서빙 시스템을 실행할 수 있게 해주는 플러그인입니다. Metal 최적화 어텐션 커널(페이징 가변 길이, M5 NAX 프리필)을 제공하며 Qwen-3.8-27B와 같은 대규모 모델을 지원합니다. Homebrew 또는 curl 스크립트로 설치한 후 macOS 15+에서 일반 `vllm` 명령을 사용합니다.

  • 프로젝트
    vllm-project/tpu-inference

    vLLM TPU는 동일한 vLLM 인터페이스를 사용하여 Google TPU에서 PyTorch 또는 JAX LLM을 실행할 수 있는 오픈소스 플러그인입니다. 고성능 기능(비동기 스케줄링, KV 캐시 오프로드, LoRA, 투기적 디코딩 등)을 지원하며 Gemma-4, Llama-3.1, Qwen 3와 같은 많은 최고 모델에서 테스트되었습니다. 권장 TPU는 v7x, v5e, v6e입니다. 이 프로젝트는 빠른 시작 문서, 지원 매트릭스, 기여자를 위한 활발한 커뮤니티를 제공합니다.

  • 프로젝트
    EricLBuehler/candle-vllm

    OpenAI 호환 API, 멀티 GPU/멀티노드 지원, 그리고 강력한 KV 캐시 압축 기능을 갖춘 로컬 LLM용 고성능 추론 및 서빙 플랫폼.