vllm-project/vllm-ascend

vLLM Ascend 插件 – 在华为昇腾 NPU 上运行 vLLM

这是什么 – 一个由社区维护的硬件插件，让高吞吐量的 LLM 服务引擎 vLLM 能直接在华为的昇腾神经处理单元（NPU）上运行。它实现了“硬件可插拔”RFC，使昇腾后端能干净地与 vLLM 核心解耦。

为何重要 – 昇腾 NPU 专为大规模推理和训练而设计。通过将它们接入 vLLM，您可以用 vLLM 在 GPU 上提供的低延迟、高吞吐量特性来服务 transformer 型 LLM、混合专家模型、嵌入模型和多模态 LLM，同时利用昇腾的专用硬件。

README 重点

• 支持的硬件 – Atlas 800I/800I‑A2/A3 推理系列、Atlas A2/A3 训练系列，以及实验性的 Atlas 300I Duo。
• 软件栈 – Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU 2.10.0.post4，以及对应的 vLLM 版本。
• 发布节奏 – 定期稳定发布（例如 v0.23.0）和候选发布（v0.26.0rc1、v0.30.0rc1）。每个发布对应特定 vLLM 版本。
• 分支模型 – main 跟踪 vLLM 主分支；releases/vX.Y.Z 仅跟踪特定 vLLM 版本的错误修复；功能分支位于 rfc/… 下。
• 开始使用 – 每个版本都提供快速入门和安装指南（表格中有链接）。README 列出推荐的版本矩阵。
• 社区 – Slack 频道 #SIG-Ascend、用户论坛、每周会议，以及 DeepWiki 知识库以获取更深入的技术细节。
• 授权 – Apache 2.0。

典型工作流程

1. 准备环境 – 安装 CANN 9.1.0、PyTorch 2.10.0、TorchNPU 2.10.0.post4，以及对应的 vLLM 发布。
2. 安装插件 – 按照版本特定的安装指南（例如 pip install vllm-ascend==0.23.0）。
3. 运行 vLLM – 使用昇腾后端标志（如文档所述）启动 vLLM，以在 NPU 上服务您的模型。
4. 调整与监控 – 使用 DeepWiki 和社区资源进行性能调整、大规模专家并行和故障排除。

谁应该使用 – 已经能访问昇腾 NPU（或可通过华为 HiDevLab 请求）的研究人员或工程师，他们希望使用 vLLM 的高效调度来服务大型语言模型，或需要在昇腾硬件上使用生产级推理栈。

---

所有信息直接取自存储库的 README；未推断任何额外功能。