MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks

解決する課題

このプロジェクトは、複数の NVIDIA DGX Spark ユニット全体で GLM-5.3-Flash 大規模言語モデルを実行するための、効率化されたワンコマンドデプロイメントソリューションを提供します。モデルの重みのオーケストレーション、推論デコード、ネットワーク構成を自動化することで、高性能な推論クラスターを構築する際の複雑さを解消します。

仕組み

コンテナ化されたアプローチを使用して、OpenAI 互換の vLLM サーバーをデプロイします。システムは接続された Spark ユニット間でのモデルの重みの分散を処理し、DFlash2 推論デコードを実装してトークン生成速度を向上させ、環境変数の設定を通じてさまざまなパフォーマンスチューニングプロファイル（"Speed boost" や "Abliteration" など）をサポートします。GB10 アーキテクチャ専用に設計されています。

対象ユーザー

このプロジェクトは、NVIDIA DGX Spark ハードウェアにアクセスでき、GLM-5.3-Flash モデルを高スループットかつ低レイテンシで提供する必要があるエンジニアや研究者を対象としています。Linux ベースのクラスター管理や環境レベルの設定に慣れているユーザーを想定しています。

ハイライト

• 2、3、または 4 台の DGX Spark ユニットにわたるマルチノードスケーリングをサポート。
• より高速なトークン生成のための DFlash2 推論デコードを搭載。
• 既存の LLM アプリケーションと簡単に統合できる OpenAI 互換 API を提供。
• 検閲なしの出力 (Abliteration) や最適化されたデコード速度など、特殊なニーズに対応するオプトイン形式のパフォーマンスプロファイルを提供。
• コンテキスト長、リクエストの同時実行数、ハードウェア固有のチューニングに関する広範な構成オプションを搭載。