vllm-project/tpu-inference

它是什么

vLLM TPU（由 tpu-inference 插件驱动）是一个开源后端，可让您在 Google TPU 上运行大型语言模型。它在单一降级路径下统一了 JAX 和 PyTorch 生态系统，因此您在 GPU 上使用的相同 vLLM 代码无需更改即可在 TPU 上运行。

核心能力

• 统一的 JAX + PyTorch 支持 – 用任一框架编写一次模型，即可在 TPU 上执行。
• vLLM 兼容的用户体验 – 与常规 vLLM 服务器相同的 CLI、遥测和 API。
• 性能特性 – 异步调度器、分块预填充、KV 缓存卸载、LoRA 支持、多模态输入、投机解码（Eagle3、N-gram、DFlash）、前缀缓存、单程序多数据等（均在支持矩阵中标记为 Passing）。
• 并行性 – 流水线（PP）、数据（DP）、专家（EP）、张量（TP）并行在单主机上工作；多主机变体仍处于实验阶段。
• 量化 – 对 v7 TPU 上的 FP4/FP8 压缩张量的早期支持（目前未测试）。

适用人群

• 希望在 TPU 硬件上服务或微调最先进 LLM 的研究人员和工程师。
• 已在 GPU 上使用 vLLM 并希望以最小代码更改扩展到 TPU 的团队。
• 任何有兴趣在开源中推动 TPU 推理性能极限的人。

快速开始

1. 按照文档中的快速入门指南操作：https://docs.vllm.ai/projects/tpu/en/latest/getting_started/quickstart/。
2. 安装 tpu-inference 插件（说明在文档中）。
3. 选择受支持的 TPU 代次 – 推荐 v7x、v5e、v6e；较旧的 v3/v4/v5p 为实验性。
4. 使用推荐模型之一（参见链接页面）验证您的设置。

支持的硬件和模型

• TPU 代次：v7x（Ironwood）和 v6e（Trillium）是主要目标；v5e 也推荐。
• 已测试模型（全部通过单元、正确性和性能测试）包括：
  • Google Gemma-4（各种尺寸）
  • Google Gemma-3-27B-it
  • Meta Llama-3.1-8B-Instruct、Llama-3.3-70B-Instruct
  • Qwen 3-30B-A3B、Qwen 3-32B、Qwen 3-4B、Qwen 3-Coder-480B-A35B-Instruct、Qwen 3.5-397B-A17B 等。
• 实验性或未测试模型在支持矩阵中以 ❓ 或 ❌ 标记列出。

社区与贡献

• 问题跟踪器显示 12 个未解决的 bug、8 个 good-first-issues 和其他标签，以帮助新手。
• 加入 vLLM Slack（#sig-tpu）或用户论坛寻求帮助。
• 通过 GitHub 仓库贡献 – 许多增强和自动生成的问题已标记为易于入门。

其他资源

• 完整文档：https://docs.vllm.ai/projects/tpu/en/latest/
• 博客文章（例如，Announcing Gemma 4 on vLLM）
• 特定 TPU 集群的配方：Ironwood（v7x）和 Trillium（v6e）位于 https://github.com/AI-Hypercomputer/tpu-recipes。