weicj/vLLM-2080Ti-Definitive

What it solves

このプロジェクトは、RTX 2080 Ti、Tesla T4、Quadro RTXシリーズなどのNVIDIA TuringアーキテクチャGPU（SM75）向けに特別に最適化された、専用のvLLM推論ランタイムを提供します。特定のハードウェア特性と最適化されたカーネルを活用することで、古いハードウェア上でも大規模モデル（27Bや35Bパラメータモデルなど）の高性能なサービングを可能にします。

How it works

これはvLLMのハードウェア特化型フォークであり、いくつかのアクセラレーションコンポーネントとSM75固有のソース変更が統合されています。Marlin、FlashInfer/FlashQLA、TurboQuant/INT8 KV、およびCUDA Graphサポートを使用してスループットを最大化します。このプロジェクトには、複数のGPU（例：NVLinkを使用した2x RTX 2080 Ti）間でテンソル並列（TP）およびパイプライン並列（PP）を管理するための専用ランチャーと事前設定されたプロファイルが含まれています。

Who it’s for

NVIDIA Turing世代のGPU（SM75）を所有しており、特にデュアルRTX 2080 TiやTesla T10/T4構成を使用して、ローカルで大規模言語モデルを高スループットかつ効率的に実行したいユーザー向けです。

Highlights

• SM75 Optimization: Turing GPU向けに特別に調整されており、27B-35Bクラスのモデルを効率的にサービングできます。
• High Throughput: 顕著なデコード速度を実現します（例：2x 2080 Ti上でQwen 27B NVFP4を使用した場合、200 tok/s以上）。
• Integrated Launcher: GPUトポロジー、モデルパス、パフォーマンスモード（normal、fast、aggressive、safe）を簡単に設定できる対話型 launcher.sh スクリプト。
• Hardware Support: 2x RTX 2080 Ti、2x Tesla T10、および4x Tesla T10構成での動作検証済み。
• Broad Weight Support: FP8、NVFP4、INT4 (W4A16) を含むさまざまなウェイトフォーマットでテスト済み。