baidu/vLLM-Kunlun

vLLM Kunlun (vllm-kunlun) is a community-maintained hardware plugin designed to seamlessly run vLLM on the Kunlun XPU.

解决的问题

它使vLLM推理引擎能够在Kunlun XPU硬件上运行。通过提供硬件可插拔接口，用户无需修改vLLM核心源代码，即可在Kunlun XPU上部署流行的开源LLM和多模态模型。

工作原理

该项目作为vLLM的社区维护硬件插件。它实现了必要的平台特定逻辑、自定义算子（如FlashMLA和融合MoE内核）以及量化支持，以弥合vLLM高级引擎与Kunlun XPU架构之间的差距。它还包含用于硬件加速图优化的“Piecewise Kunlun Graph”。

适用对象

适用于使用Kunlun3 P800硬件，并希望利用vLLM高性能推理能力来处理各种生成式和多模态模型的开发者和AI工程师。

亮点

  • 广泛的模型支持：兼容20多种主流模型，包括Qwen、Llama、DeepSeek、GLM和Gemma4。
  • 硬件加速：具有Piecewise Kunlun Graph和FlashMLA等优化注意力机制。
  • 量化：支持W8A8、AWQ、GPTQ和压缩张量W4A16。
  • 高级解码：通过MTP（多令牌预测）和DFlash/EAGLE风格提议器实现推测解码。
  • OpenAI兼容：提供标准OpenAI API接口用于模型服务。

相关

  • 项目
    vllm-project/vllm-ascend

    vLLM Ascend 是一个硬件插件，让 vLLM LLM 服务引擎能在华为昇腾 NPU 上运行。它支持一系列 Atlas NPU 硬件，需要 Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU，并对应特定 vLLM 版本。该项目提供定期发布、详细文档及活跃社区（Slack、论坛、每周会议）。授权为 Apache 2.0。

  • 项目
    xLLM-AI/xllm

    一个针对中国 AI 加速器优化的高效 LLM 推理框架，旨在实现高吞吐量、低延迟的企业级部署。

  • 项目
    vllm-project/vllm-metal

    vLLM Metal 是一个插件，使 vLLM LLM 服务系统能够通过 MLX/Metal 后端在 Apple Silicon Mac 上运行。它提供了 Metal 优化的注意力内核（分页变长、M5 NAX 预填充），并支持 Qwen-3.8-27B 等大型模型。通过 Homebrew 或 curl 脚本安装，然后在 macOS 15+ 上使用常规的 `vllm` 命令。

  • 项目
    vllm-project/tpu-inference

    vLLM TPU 是一个开源插件，可让您使用相同的 vLLM 接口在 Google TPU 上运行 PyTorch 或 JAX LLM。它支持高性能特性（异步调度、KV 缓存卸载、LoRA、投机解码等），并已在许多顶级模型（如 Gemma-4、Llama-3.1 和 Qwen 3）上测试。推荐 TPU 为 v7x、v5e 和 v6e。该项目提供快速入门文档、支持矩阵和活跃的贡献者社区。

  • 项目
    EricLBuehler/candle-vllm

    一个高性能的本地 LLM 推理和服务平台，具备 OpenAI 兼容 API、多 GPU/多节点支持以及激进的 KV 缓存压缩功能。