tonyd2wild/DeepSeek-v4-Flash-Vision-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark

解決する問題

このプロジェクトは、DGX Spark クラスター上で DeepSeek-V4-Flash-Vision-Exp マルチモーダルモデル向けの本番環境対応デプロイレシピを提供します。ビジョン変種向けの本番用サービングエンジンが不足している問題に特に対処し、vLLM を使用したネイティブな画像入力と高スループット推論を可能にするために必要なポートとパッチを提供します。

仕組み

このプロジェクトは、2 つの DGX Spark ノード上でテンソル並列（TP=2）と vLLM を使用したサービングスタックを実装します。カスタムランタイムイメージと一連の重要なバインドマウントを利用して、コンテナを再構築せずにパッチを適用します。主要な技術コンポーネントは次のとおりです。

• DSpark 投機的デコード：ドラフターを使用してトークン生成を高速化し、特定の k=5 構成で最適化されています。
• NVFP4 KV キャッシュ：実験的な nvfp4_ds_mla KV キャッシュを採用し、大規模なコンテキストウィンドウ（最大 1M トークン）をサポートします。
• ビジョンポート：32 ブロックの ViT とアライナーを vLLM に直接統合し、VLM プロキシを不要にします。
• 重要なパッチ：Patch 3（スケジューラ修正）、Patch 4（共有エキスパートローダー修正によるサイレントなパフォーマンス低下の防止）、Patch 5（推論セグメント中の停止文字列の抑制）が含まれます。

対象読者

DGX Spark ハードウェア上で DeepSeek-V4-Flash モデルをデプロイする ML エンジニアやインフラストラクチャ研究者で、高スループット、長コンテキストのマルチモーダル機能を必要とする方。

ハイライト

• ネイティブマルチモーダルサポート：ビジョン機能をサービングエンジンに直接統合。
• 大規模コンテキスト：1M トークンのコンテキストウィンドウ向けに調整。
• 高スループット：特定のワークロードで最大 80.1 tok/s を達成（Patch 4 使用時）。
• サイレント障害の防止：ドラフトの共有エキスパートが未初期化でロードされるという重大なバグを修正するための特定のスクリプトとパッチを提供します。このバグは、出力品質に影響を与えずにデコード速度を半分にする可能性があります。