vllm-project/vllm-ascend

vLLM Ascend プラグイン – Huawei Ascend NPU で vLLM を実行

概要 – コミュニティ保守のハードウェアプラグインで、高スループットの LLM サービングエンジン vLLM を Huawei の Ascend ニューラルプロセッシングユニット（NPU）上で直接実行できるようにします。「ハードウェアプラグ可能」RFC を実装し、Ascend バックエンドが vLLM コアからきれいに分離されます。

重要性 – Ascend NPU は大規模な推論とトレーニング向けに設計されています。vLLM にプラグインすることで、vLLM が GPU で提供する低レイテンシ、高スループットの特性を維持しつつ、Ascend の専用ハードウェアを活用して、transformer 型 LLM、Mixture‑of‑Experts、埋め込みモデル、マルチモーダル LLM をサービスできます。

README の要点

• サポートハードウェア – Atlas 800I/800I‑A2/A3 推論シリーズ、Atlas A2/A3 トレーニングシリーズ、実験的な Atlas 300I Duo。
• ソフトウェアスタック – Linux、Python 3.10‑3.12、CANN 9.1.0、PyTorch 2.10.0 + TorchNPU 2.10.0.post4、および対応する vLLM バージョン。
• リリース頻度 – 定期的な安定リリース（例：v0.23.0）とリリース候補ビルド（v0.26.0rc1、v0.30.0rc1）。各リリースは特定の vLLM バージョンに対応します。
• ブランチモデル – main は vLLM のメインブランチを追跡；releases/vX.Y.Z は特定の vLLM バージョンのバグ修正のみを追跡；機能ブランチは rfc/… の下にあります。
• 開始方法 – 各バージョンにクイックスタートとインストールガイドが提供されています（表にリンク）。README には推奨バージョンマトリックスが記載されています。
• コミュニティ – Slack チャンネル #SIG-Ascend、ユーザーフォーラム、毎週のミーティング、および詳細な技術情報のための DeepWiki ナレッジベース。
• ライセンス – Apache 2.0。

典型的なワークフロー

1. 環境を準備 – CANN 9.1.0、PyTorch 2.10.0、TorchNPU 2.10.0.post4、および対応する vLLM リリースをインストールします。
2. プラグインをインストール – バージョン固有のインストールガイドに従います（例：pip install vllm-ascend==0.23.0）。
3. vLLM を実行 – ドキュメントに従って Ascend バックエンドフラグを使用して vLLM を起動し、NPU 上でモデルをサービスします。
4. チューニングと監視 – DeepWiki とコミュニティリソースを使用して、パフォーマンスチューニング、大規模エキスパート並列処理、トラブルシューティングを行います。

対象ユーザー – Ascend NPU にアクセスできる（または Huawei HiDevLab 経由でリクエストできる）研究者やエンジニアで、vLLM の効率的なスケジューリングを使用して大規模言語モデルをサービスしたい方、または Ascend ハードウェア上で本番グレードの推論スタックが必要な方。

---

すべての情報はリポジトリの README から直接取得しています。追加の機能は推測していません。