jd-opensource/xllm

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

What it solves

xLLM 解决了在中国 AI 加速器上部署大语言模型 (LLM) 的挑战，提供了一个高效、企业级推理框架，在保持高性能的同时降低了运营成本。

How it works

该框架采用服务与引擎解耦的架构，其中专用的服务层管理调度与可用性，而引擎层处理实际的计算。它结合了混合 KV cache 管理（基于 Mooncake）进行智能卸载与预取，以优化内存与吞吐量。

Who it’s for

它专为需要将 LLM 部署在中国 AI 加速器上的企业和开发者设计，例如 Ascend NPU、Cambricon MLU、Moore Threads GPU、Hygon DCU、MetaX MACA 和 Iluvatar CoreX GPU。

Highlights

  • Hardware Optimization: 针对广泛的中国 AI 加速器进行了深度优化。
  • Decoupled Architecture: 将服务管理与计算引擎分离，以获得更好的可扩展性。
  • High Performance: 专为高吞吐量和低延迟设计。
  • Battle-tested: 已在 JD.com 的核心零售业务运营中通过大规模实践验证。