kacper-daftcode/vLLM-Moet

何を解決するか

消費用またはワークステーショングレードのBlackwell GPU（例：RTX 5090 や RTX PRO 6000）上で、通常は利用可能なVRAMを超えるため、大規模な先端Mixture-of-Experts（MoE）モデル—GLM-5.2（753B）や DeepSeek-V4-Flash（159B）—を実行可能にします。

仕組み

このプロジェクトは、量子化、階層的メモリ管理、カスタムカーネルの組み合わせにより、限られたハードウェアに大規模モデルを収める仕組みを採用しています。

• 2ビットエキスパート圧縮： ルーティングされたエキスパートを手書きのSM120 SASSカーネルを使用して符号対称2ビットコードブックに圧縮します。品質を維持するために、FP4「デルタキャッシュ」と信頼度ゲートを用いて必要な箇所で精度を復元します。
• 階層的エキスパート滞在： モデルがVRAMを超える場合、システムは2ビットベースをピンされたホストRAMに移動し、さらにNVMeパックファイルへと下層に移行します。GPUはエキスパートキャッシュとして機能し、不足するエキスパートをRAMまたはディスクから取得し、計算ステップを再実行することで、ビット単位の同一結果を保証します。
• 最適化されたサービング基盤： vLLM v0.24.0を修正してSM120互換性を解決し、NVFP4 KVキャッシュを導入して1トークンあたりのメモリ使用量を削減（352 B/token）します。
• 予測デコード： MTP（マルチトークン予測）予測デコードを実装し、パイプライン並列化下でもスループットを向上させます。

対象ユーザー

BlackwellアーキテクチャGPUを搭載し、限られたGPU数でトランジリオンパラメータ規模の先端MoEモデルを実行したい開発者や研究者。

主な特徴

• 大規模モデル対応： 2枚のRTX PRO 6000カードでGLM-5.2（753B）を実行可能。
• NVMeオフロード： パックファイルとピンされたRAMアリーナを使用してホストRAMの制限を回避し、永続的量子化キャッシュにより起動時間を高速化。
• 高パフォーマンス： カスタムSASSカーネルとMTPを活用し、GLM-5.2（4x PRO 6000）で105 tok/sの高速デコードを実現。
• 精度回復： 信頼度ゲートにより、低信頼度ステップをFP4精度で再実行し、2ビット量子化によるアーティファクトを修正。