MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark
DeepSeek-v4-Flash 0731 recipe for 2x DGX Sparks
何を解決するか
このプロジェクトは、2台（または3台）のNVIDIA DGX Sparkノードのクラスタ上で DeepSeek-V4-Flash-Vision-Exp モデルを実行するためのデプロイメントレシピと最適化されたランタイムを提供します。特に、最大100万トークンまでの巨大なコンテキスト窓の管理、推論のスループットを最適化するための予測的デコード、およびAnemllランタイム上でネイティブな画像サポートを実現する課題に対処しています。
動作方法
システムはvLLMとテンソル並列（TP=2）およびDSpark予測的デコードを使用して推論を高速化します。100万トークンの上限を処理するために特別なKVキャッシュ（nvfp4_ds_mla）を採用しています。デプロイはDockerでコンテナ化されており、モデル重みを各ノードに複製するか、ConnectXリンクを介したNFSv4経由でヘッドノードからマウントするかを設定可能です。これによりストレージを節約できます。
対象ユーザー
DGX Sparkハードウェアにアクセスできる運用担当者や研究者向けです。高スループット、長文コンテキスト、画像処理機能を備えたDeepSeekのFlash Visionモデルをデプロイしたい方におすすめです。
主な特徴
- 巨大なコンテキスト: 最大1,048,576トークンのコンテキスト上限をサポート。
- 予測的デコード: DSparkを使用して生成速度を向上。
- ネイティブなビジョンサポート: Anemllランタイムの起動時ホットフィックスにより、OpenAI互換の
image_urlと<image>タグを介して画像をサポート。 - 柔軟な重み管理: ウェルカーノードでのローカルキャッシュとヘッドノードからのNFSベースのマウントの両方をサポート。
- 消去サポート: オプションのランタイム拒否方向投影により、モデルの振る舞いを変更可能。
- 最適化されたスループット: 複数の並行ストリームで合計約160～190トークン/秒の推論速度を達成可能。
関連
- プロジェクト
- プロジェクト
- Dispatch
- プロジェクト
- プロジェクト