vllm-project/tpu-inference

概要

vLLM TPU（tpu-inference プラグインを搭載）は、Google TPU 上で大規模言語モデルを実行できるオープンソースのバックエンドです。単一の低レベリングパスで JAX と PyTorch のエコシステムを統合するため、GPU で使用している同じ vLLM コードを変更せずに TPU で実行できます。

主な機能

• JAX + PyTorch の統合サポート – モデルを（どちらかのフレームワークで）一度記述すれば、TPU 上で実行できます。
• vLLM 互換のユーザーエクスペリエンス – 通常の vLLM サーバーと同じ CLI、テレメトリ、API を提供します。
• パフォーマンス機能 – 非同期スケジューラ、チャンク化プリフィル、KV キャッシュオフロード、LoRA サポート、マルチモーダル入力、投機的デコード（Eagle3、N-gram、DFlash）、プレフィックスキャッシング、単一プログラム複数データなど（すべてサポートマトリックスで Passing とマーク）。
• 並列処理 – パイプライン（PP）、データ（DP）、エキスパート（EP）、テンソル（TP）並列処理はシングルホストで動作。マルチホスト版はまだ実験的です。
• 量子化 – v7 TPU 上の FP4/FP8 圧縮テンソルの初期サポート（現在は未テスト）。

対象ユーザー

• TPU ハードウェア上で最先端の LLM をサービス提供またはファインチューニングしたい研究者やエンジニア。
• GPU で vLLM を既に使用しており、最小限のコード変更で TPU に拡張したいチーム。
• オープンソースで TPU 推論のパフォーマンス限界を押し広げることに興味がある方。

はじめに

1. ドキュメントの クイックスタートガイド に従ってください: https://docs.vllm.ai/projects/tpu/en/latest/getting_started/quickstart/。
2. tpu-inference プラグインをインストールします（手順はドキュメントにあります）。
3. サポートされている TPU 世代を選択 – 推奨は v7x、v5e、v6e。古い v3/v4/v5p は実験的です。
4. 推奨モデル（リンク先ページを参照）のいずれかを使用してセットアップを確認します。

サポートされているハードウェアとモデル

• TPU 世代: v7x（Ironwood）と v6e（Trillium）が主なターゲット。v5e も推奨。
• テスト済みモデル（すべてユニット、正確性、パフォーマンステストに合格）:
  • Google Gemma-4（各種サイズ）
  • Google Gemma-3-27B-it
  • Meta Llama-3.1-8B-Instruct、Llama-3.3-70B-Instruct
  • Qwen 3-30B-A3B、Qwen 3-32B、Qwen 3-4B、Qwen 3-Coder-480B-A35B-Instruct、Qwen 3.5-397B-A17B など。
• 実験的または未テストのモデルは、サポートマトリックスに ❓ または ❌ マークでリストされています。

コミュニティと貢献

• イシュートラッカーには、12 件のオープンバグ、8 件の good-first-issues、その他のラベルがあり、初心者を支援します。
• vLLM Slack（#sig-tpu）または ユーザーフォーラム に参加してヘルプを得てください。
• GitHub リポジトリを通じて貢献 – 多くの機能追加や自動生成イシューが簡単に参加できるようにラベル付けされています。

追加リソース

• 完全なドキュメント: https://docs.vllm.ai/projects/tpu/en/latest/
• ブログ記事（例: Announcing Gemma 4 on vLLM）
• 特定の TPU ポッド向けレシピ: Ironwood（v7x）と Trillium（v6e）は https://github.com/AI-Hypercomputer/tpu-recipes にあります。