MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks

解決する問題

このプロジェクトは、2つのNVIDIA DGX SparkノードでQwen3.8-Flash-Next-NVFP4大規模言語モデルを実行するための専門的なデプロイメントフレームワークを提供します。重みの分散、モデルカーネルの互換性のためのパッチ適用、分散メモリリソースの管理を自動化し、KVキャッシュ容量を最大化することで、マルチノード推論の複雑さを解決します。

仕組み

高速RoCE/IBネットワークで接続された2つのノードで、Dockerコンテナを使用してvLLMベースの推論サーバーをオーケストレーションします。このプロジェクトには、モデル重みのダウンロード、ヘッドノードとワーカーノード間の同期（rsyncまたは共有NFSボリューム経由）、およびSparkハードウェアで正しく実行されるようにモデルのレイヤーとカーネルに特定のパッチを適用するスクリプトが含まれています。また、ページキャッシュを退避してメモリ不足エラーを防ぎ、FP8 KVキャッシュなどの高度な構成をサポートして、モデルがコンテキストウィンドウで処理できるトークン数を大幅に増やします。

対象読者

このプロジェクトは、マルチノードDGX Sparkハードウェアにアクセスでき、高性能で大規模コンテキストのQwenモデルをデプロイする必要があるインフラエンジニアとAI研究者を対象としています。Linux、Docker、分散システムに精通し、マルチノード推論のターンキーソリューションを必要とするユーザーを想定しています。

ハイライト

• マルチノード最適化： テンソル並列処理（TP2）、エキスパート並列処理（EP）、マルチトークン予測（MTP3）を使用して、デュアルDGX Sparkセットアップ専用に調整されています。
• 高容量KVキャッシュ： FP8量子化を使用して、最大365万トークンのKVキャッシュ容量を実現します。
• 自動パッチ適用： FlashInferカーネルとモデルレイヤーの自動パッチ適用が含まれており、NVFP4アーキテクチャとの互換性を確保します。
• 柔軟なデプロイメント： 標準NVFP4、公式FP8、abliteratedチェックポイントなど、複数のチェックポイントタイプをサポートし、NFSベースまたはrsyncベースの重み配布オプションを提供します。