MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold

解決する問題

GLM-5.3-Flash のような大規模言語モデルを実行するには、通常、高価な GPU と大量のメモリが必要です。このプロジェクトでは、高速リンクで接続された 2 台の手頃な NVIDIA DGX Sparks（各 128 GB ユニファイドメモリ）で、TensorFold を使用してモデルを 2 台のマシンに分割し、積極的な量子化（4 ビット密な重み、FP8 KV キャッシュ）を適用してモデルを収め、完全な 1,048,576 トークンのコンテキストウィンドウをサポートする方法を示します。また、並行性の問題も解決します。最大 4 つのリクエストが共通のキー値キャッシュプールを共有でき、問題を修正し、機能（Anthropic Messages API など）を追加し、スループットを向上させる多くのパッチが含まれています。

仕組み

このレシピでは、2 台の DGX Sparks をヘッドとワーカーとして使用し、ConnectX-7 QSFP ケーブルと RoCE ネットワークで接続します。両方のマシンは NVIDIA の PyTorch コンテナで TensorFold v0.6.0 を実行し、マシンごとに 1 ランク、機能と安定性を強化する一連のパッチを適用します。モデル自体は、カスタム EXL3 量子化チェックポイント（4 ビット密な重み、その他は BF16）としてダウンロードされ、オプションで DFlash2 ドラフターを使用して投機的復号化を行います。単一の ./start.sh スクリプトがセットアップ、検証、起動、スモークテストを処理し、ポート 8888 で OpenAI 互換の API エンドポイントを提供します。システムは FP8 KV キャッシュプールを使用して複数のリクエストを同時に処理し、ヘッドでモデルのビジョンタワーを実行して画像とビデオ入力をサポートし、ツール呼び出し、構造化出力（xgrammar 経由）、および繰り返されるシステムプロンプトを高速化するためのプロンプト再利用を含みます。

対象読者

比較的手頃なデュアル GB10 ハードウェアで GLM-5.3-Flash をデプロイしたい開発者と研究者、長いコンテキスト（最大 1M トークン）を必要とし、テキスト、画像、ビデオを使用するアプリケーションを構築するためのドロップインの OpenAI 互換エンドポイントを希望する人。Docker、SSH、NVIDIA ハードウェアのセットアップに精通している必要があります。

ハイライト

• 共有 FP8 KV プール（合計約 290 万トークン）で最大 4 つの同時リクエストを処理する GLM-5.3-Flash を提供。
• リクエストごとに完全な 1,048,576 トークンのコンテキストウィンドウをサポート。
• デコードスループットは最大約 108.8 tok/s（合計）、プリフィルは約 1,950 tok/s。最初のトークンまでの時間は最低 170 ms。
• プロンプト再利用：同一の 64k トークンプロンプトの 2 回目の訪問は 34 秒ではなく 0.07 秒未満。
• OpenAI スタイルのコンテンツパーツを介して画像（JPEG/PNG/WebP）とビデオ（MP4/WebM/MOV/MKV）を処理。
• ツール呼び出し、構造化出力、Anthropic Messages API 互換パッチを含む。
• ワンコマンドセットアップ（./start.sh）で両方の Sparks を準備し、サーバーを起動。ログとヘルスチェック付き。
• 4 ビット / FP8 構成での GSM8K（98.8%）、HumanEval（95.7%）、HumanEval+ / MBPP+（86.5%）の品質ベンチマーク。