xLLM-AI/xllm

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

解决的问题

xLLM 旨在降低在企业级硬件上部署大型语言模型 (LLMs) 的成本并提高效率，特别针对中国 AI 加速器进行了优化。它提供了一个高吞吐量、低延迟的推理框架，并已在 JD.com 的零售业务中经过大规模实战验证。

运作原理

该框架采用服务引擎解耦架构。服务层负责管理调度与可用性，而引擎层则处理实际的计算。它还结合了混合 KV 缓存管理（基于 Mooncake），通过智能卸载与预取技术进一步优化性能。

适用对象

适用于需要在中国 AI 硬件上部署 LLMs 的企业与开发者，支持的硬件包括 Ascend NPU、Cambricon MLU、Moore Threads GPU、Hygon DCU、MetaX MACA 以及 Iluvatar CoreX GPU。

特色亮点

  • 广泛的硬件支持：针对多种中国 AI 加速器进行了深度优化。
  • 企业级品质：在真实零售业务环境中经过大规模验证。
  • 解耦架构：将服务调度与计算引擎分离。
  • 高性能：专注于提供高吞吐量与低延迟的推理服务。

相关

  • 项目
    ztxz16/fastllm

    一款专为本地和服务器部署设计的高性能大模型推理引擎，支持混合设备执行（GPU/CPU/磁盘）及投机采样等高级优化技术。

  • 项目
    ModelTC/LightLLM

    LightLLM 是一个基于 Python 的高性能推理与服务框架，专为大型语言模型（LLM）设计。它结合了快速的内核（FlashAttention、Triton）与轻量级的 token 级 KV 缓存管理，支持多 GPU 扩展，并加入了研究级功能，如受限解码和 SLA 感知的请求调度。

  • 项目
    kkokosa/dotLLM

    使用 C#/.NET 原生编写的高性能 LLM 推理引擎，为 Transformer 模型提供原生的 CPU/GPU 支持，无需依赖 Python 或 llama.cpp。

  • 项目
    localai-org/vllm.cpp

    一个高性能的 C++20 推理引擎，具备与 vLLM 相当的功能与吞吐量，同时移除了 Python/PyTorch 依赖，使部署空间缩小了 140 倍。

  • 项目
    vllm-project/vllm

    vLLM 是一个用于大型语言模型的高吞吐量、低延迟服务的开源库。它引入了 PagedAttention 来高效处理 KV 缓存，支持多种量化格式，集成了快速注意力内核，并提供了一个兼容 OpenAI 的 API，可在 GPU、CPU 和其他加速器上运行。