vLLM TorchTPU: a new vLLM backend for Google Cloud TPU inference

vLLM TorchTPU 是一个全新的 vLLM 平台插件（out-of-tree），它让 vLLM 能够在 Google Cloud TPU 上服务模型，同时完全复用 vLLM 现有的模型代码、CLI、调度器、KV 缓存管理器和 OpenAI 兼容服务器。它的意义在于，大多数已在 vLLM 中运行的模型无需修改模型定义即可在 TPU 上运行，并且该项目将手写的 Pallas 内核（用于注意力、混合专家和量化矩阵乘法）开源。

vLLM TorchTPU 是什么

vLLM TorchTPU 是名为 vllm-torchtpu 的软件包，是一个在 Google Cloud TPU 上运行 vLLM 的后端。它构建于 Google 的 TorchTPU 技术栈之上，该技术栈让 PyTorch 原生运行在 TPU 上，并执行 vLLM 中已有的模型定义。因此，目前大多数能在 vLLM 中运行的模型都可以在 TPU 上提供服务，而无需修改模型代码。

该项目源自 Inferact 与 Google 的工程合作，该合作在发布前一个月宣布。发布文章阐述了该项目的三个目标：

  1. 通过复用 vLLM 现有的模型代码，轻松将新模型引入 TPU。
  2. 在开源中推动 TPU 推理性能，提供针对注意力、混合专家和量化矩阵乘法的 Pallas 内核。
  3. 保持 vLLM 体验不变：与其他硬件上使用的 CLI、OpenAI 兼容服务器、调度器和 KV 缓存管理器相同。

vLLM TorchTPU 是什么

vLLM TorchTPU 是名为 vllm-torchtpu 的软件包，一个用于在 Google Cloud TPU 上运行 vLLM 的后端。它基于 Google 的 TorchTPU 技术栈构建，该技术栈在 TPU 上原生运行 PyTorch，并执行 vLLM 中已有的模型定义。因此，目前大多数在 vLLM 中可用的模型都可以在 TPU 上提供服务，而无需修改模型代码。

该项目源自 Inferact 与 Google 之间的工程合作，该合作在发布前一个月宣布。发布文章阐述了该项目的三个目标：

  1. 通过复用 vLLM 现有的模型代码，轻松将新模型引入 TPU。
  2. 在开源中推动 TPU 推理性能，提供用于注意力、混合专家和量化矩阵乘法的 Pallas 内核。
  3. 保持 vLLM 体验不变：与其他硬件上使用的 CLI、OpenAI 兼容服务器、调度器和 KV 缓存管理器相同。

vLLM TorchTPU 是什么

vLLM TorchTPU 是名为 vllm-torchtpu 的软件包，一个用于在 Google Cloud TPU 上运行 vLLM 的后端。它构建在 Google 的 TorchTPU 技术栈之上，该技术栈在 TPU 上原生运行 PyTorch，并执行 vLLM 中已有的模型定义。因此，目前大多数在 vLLM 中可用的模型都可以在 TPU 上提供服务，而无需修改模型代码。

该项目源于 Inferact 与 Google 之间的工程合作，该合作在发布前一个月宣布。发布文章阐述了该项目的三个目标：

  1. 通过复用 vLLM 现有的模型代码，轻松将新模型引入 TPU。
  2. 在开源中推动 TPU 推理性能，提供针对注意力、混合专家和量化矩阵乘法的 Pallas 内核。
  3. 保持 vLLM 体验不变：与其他硬件上使用的 CLI、OpenAI 兼容服务器、调度器和 KV 缓存管理器相同。

vLLM TorchTPU 如何接入 vLLM

vllm-torchtpu 是一个树外 vLLM 平台插件。安装后，vLLM 会通过 vllm.platform_plugins 入口点自动识别它，因此无需 fork 或修补 vLLM 副本。

模型通过 vLLM 的标准模型运行器运行，并使用 `torch.compile(backend=

Sources