albond/DGX_Spark_Qwen3.5-122B-A10B-AR-INT4

解決する問題

このプロジェクトは、NVIDIA DGX Sparkハードウェア上で Qwen3.5-122B-A10B モデルの推論スループットを大幅に向上させる最適化のセットを提供します。モデル品質を損なうことなく、ベースラインの1秒あたり28.3トークンから1秒あたり52トークン（82%の向上）へと性能を改善します。

動作方法

このプロジェクトは、複数ステップの最適化スタックを採用しています：

• ハイブリッド量子化：BF16共有エキスパート重みをFP8に置き換えることで、メモリ帯域幅の負荷を軽減します。
• MTP-2 予測デコード：複数トークン予測を使用して1ステップで複数のトークンを生成し、スループットを向上させます。
• INT8 LM ヘッド：Tritonのオートチューニングを活用したパッチ付きINT8言語モデルヘッドを実装し、モデルの最終層を高速化します。
• ハードウェア固有のコンパイル：DGX Sparkで使用されるSM121（Blackwell）アーキテクチャに特化してvLLMをコンパイルし、特定のCUTLASSブロックワイズFP8 GEMMパッチ（PR #38325）を含みます。
• コンテキスト管理：標準で最大256Kのコンテキスト長をサポートし、より高い並行性を実現するためのオプションのTurboQuant KVキャッシュ圧縮も提供します。

対象ユーザー

NVIDIA DGX Sparkワークステーションを使用し、Qwen3.5-122B-A10Bモデルを最大効率かつ高スループットでデプロイしたい開発者や研究者です。

主な特徴

• 82%の高速化：スループットを1秒あたり28.3トークンから52トークンへ向上。
• Blackwell最適化：SM121アーキテクチャ向けにカスタムビルドされたvLLM。
• 大規模コンテキスト：256Kコンテキスト窓をネイティブでサポート。
• 予測デコード：高速な生成を実現する統合MTP-2サポート。
• 自動セットアップ：Dockerイメージの作成やモデル準備を含む複雑なビルドプロセスを処理する install.sh スクリプトを提供。