wtdcode/vllm-backport

解決する問題

このプロジェクトは、古いNVIDIA GPUアーキテクチャ（特にA6000、A100、RTX 30シリーズなどのAmpereベースのカード）上で、大規模で現代的な最先端モデルを実行するように設計されたvLLM推論エンジンの特殊なフォークを提供します。これにより、これらのカードが最新の高パラメータまたは複雑なアーキテクチャのモデルを効率的に実行できないことが多いハードウェア制限に対処します。

仕組み

これはvLLMの修正版として機能し、ネイティブFP4量子化のサポート、エキスパート並列処理、カスタムCUDAグラフ構成などの特定の最適化を統合します。効率的なKVキャッシュ管理のためのLMCacheのペアフォークが含まれており、特定のGPUアーキテクチャ（sm80、sm86、sm89）に合わせた事前構築済みDockerイメージを提供します。このプロジェクトにより、ユーザーは埋め込みのCPUオフロードやMoE（混合エキスパート）モデル用の特定のメモリ節約構成などの機能を有効にして、標準のvLLM制約を回避できます。

対象読者

これは、最新のHopper世代（H100/H200）機能を備えていない既存のエンタープライズまたはハイエンドコンシューマーハードウェア上で、DeepSeek-V4やQwen3.8などのハイエンドモデルをサービスする必要があるインフラエンジニアやAI研究者向けです。

ハイライト

• ハードウェア互換性： Ampere（A100、A6000、RTX 30xx）およびAda（RTX 4090、L40S）アーキテクチャ向けに最適化。
• 高度な量子化： FP4およびFP8のネイティブサポートに加え、メモリ効率の高いモデルサービングのためのAWQ W4A16。
• 統合キャッシュ： 分散環境でのKVキャッシュ管理のためのLMCacheの組み込みサポート。
• パフォーマンスチューニング： 古いハードウェアでのスループットを最大化するための投機的デコード（MTP、DSpark）およびCUDAグラフキャプチャ用の特別な構成が含まれています。