baidu/vLLM-Kunlun
vLLM Kunlun (vllm-kunlun) is a community-maintained hardware plugin designed to seamlessly run vLLM on the Kunlun XPU.
解決する課題
Kunlun XPUハードウェア上でvLLM推論エンジンを実行できるようにします。ハードウェアプラグイン可能なインターフェースを提供することで、ユーザーはvLLMのコアソースコードを変更することなく、人気のあるオープンソースLLMやマルチモーダルモデルをKunlun XPU上にデプロイできます。
仕組み
このプロジェクトは、vLLM用のコミュニティ保守型ハードウェアプラグインとして機能します。プラットフォーム固有のロジック、カスタムオペレーター（FlashMLAや融合MoEカーネルなど）、量子化サポートを実装し、vLLMの高レベルエンジンとKunlun XPUアーキテクチャの間のギャップを埋めます。また、ハードウェアアクセラレーションによるグラフ最適化のための「Piecewise Kunlun Graph」も含まれています。
対象ユーザー
Kunlun3 P800ハードウェアを使用し、さまざまな生成モデルやマルチモーダルモデルに対してvLLMの高性能推論機能を活用したい開発者やAIエンジニア向けです。
主な特徴
- 幅広いモデルサポート: Qwen、Llama、DeepSeek、GLM、Gemma4など20以上の主流モデルに対応。
- ハードウェアアクセラレーション: Piecewise Kunlun GraphとFlashMLAなどの最適化されたアテンションメカニズムを搭載。
- 量子化: W8A8、AWQ、GPTQ、圧縮テンソルW4A16をサポート。
- 高度なデコーディング: MTP（マルチトークン予測）とDFlash/EAGLEスタイルのプロポーザーによる投機的デコーディングを実装。
- OpenAI互換: モデルを提供するための標準的なOpenAI APIインターフェースを提供。
関連
- プロジェクト
vllm-project/vllm-ascendvLLM Ascend は、vLLM LLM サービングエンジンを Huawei Ascend NPU 上で実行できるようにするハードウェアプラグインです。Atlas NPU ハードウェアの範囲をサポートし、Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU を必要とし、特定の vLLM バージョンに対応します。このプロジェクトは、定期的なリリース、詳細なドキュメント、活発なコミュニティ（Slack、フォーラム、毎週のミーティング）を提供します。ライセンスは Apache 2.0 です。
- プロジェクト
xLLM-AI/xllm中国製AIアクセラレータ向けに最適化された効率的なLLM推論フレームワークで、高スループットかつ低遅延なエンタープライズ展開を実現します。
- プロジェクト
vllm-project/vllm-metalvLLM Metal は、MLX/Metal バックエンドを使用して Apple Silicon Mac 上で vLLM LLM サービングシステムを実行できるようにするプラグインです。Metal 最適化アテンションカーネル（ページド varlen、M5 NAX プリフィル）を提供し、Qwen‑3.8‑27B などの大規模モデルをサポートします。Homebrew または curl スクリプトでインストールし、macOS 15+ で通常の `vllm` コマンドを使用します。
- プロジェクト
vllm-project/tpu-inferencevLLM TPU は、同じ vLLM インターフェースを使用して Google TPU 上で PyTorch または JAX LLM を実行できるオープンソースプラグインです。高性能機能（非同期スケジューリング、KV キャッシュオフロード、LoRA、投機的デコードなど）をサポートし、Gemma-4、Llama-3.1、Qwen 3 などの多くのトップモデルでテストされています。推奨 TPU は v7x、v5e、v6e です。このプロジェクトは、クイックスタートドキュメント、サポートマトリックス、貢献者のための活発なコミュニティを提供します。
- プロジェクト