MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark

このリポジトリは、単一のNVIDIA DGX Sparkワークステーション上で大規模な視覚言語モデル（Qwen3.8-Flash-Next）を提供するための実用的なレシピです。チュートリアルやリンク集ではなく、スクリプト、設定ファイル、詳細なパフォーマンス測定を含む動作するデプロイセットアップです。

機能：

• 単一のDGX Sparkの121 GiBユニファイドメモリ上で、vLLMを使用してMia-AiLab/Qwen3.8-Flash-Next-NVFP4チェックポイント（99 GiB）を実行する自己完結型の方法を提供します。
• チェックポイントのダウンロード、サーバーの起動/停止、メモリ管理など、完全なライフサイクルを処理します。
• テキスト、画像、ビデオをすぐにサポートします。

主な最適化：

• PLE（位置ルックアップ）テーブルをディスクにオフロードし、メモリマップしてGPUメモリを節約します。
• 投機的デコード（MTP）を縮小されたドラフト語彙で使用し、トークン生成を高速化します。
• メモリ不足のクラッシュを回避するための安全ルールを備えたメモリ予算システムを含みます。
• コンテキスト長、KVキャッシュサイズ、チャンク幅を調整するためのノブを提供し、速度とメモリのトレードオフを可能にします。

測定されたパフォーマンス（READMEから）：

• シングルストリームデコード：散文で約48.7トークン/秒。8つの並行ストリームで最大162.9トークン/秒の合計。
• プリフィル：8kコンテキストで約2,200トークン/秒、256kで約1,900トークン/秒に低下。
• ヘルス状態までの時間：初回起動で約10〜12分。

注目すべき注意点：

• READMEは非常に詳細で技術的であり、多くのベンチマークテーブルと設定ノートが含まれています。
• プロジェクトは、代わりに推奨される新しい「TensorFold」レシピを指しています。
• パフォーマンスはコンテンツタイプによって異なります（予測可能なテキストはデコードが高速）。

全体として、これは単一のハイエンドワークステーション上で大規模なマルチモーダルモデルをデプロイするための真剣で実践的なプロジェクトであり、慎重なメモリ管理と投機的デコードを通じて最大のパフォーマンスを引き出すことに重点を置いています。