MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark-TensorFold

これが解決すること

このプロジェクトは、Qwen3.8 Flash Next 大言語モデルを単一の NVIDIA DGX Spark システムで実行するための簡潔な方法を提供します。高性能な量子化モデルを部署する複雑さを解消し、OpenAI 互換の API を通じてテキストと画像入力の両方をサポートする自動設定を提供します。

仕組み

NVIDIA PyTorch コンテナ内で実行される TensorFold Zig ベースのエンジンを使用して、モデルインファレンスを管理します。システムは主に二つの量子化チェックポイントをサポートします：高性能な NVIDIA FP4 量子化バージョン（デフォルト）とオプションの INT4-AutoRound バージョンです。エンジンはメモリ管理、コンテキストウィンドウ（262,144 トークンまで）、並列リクエスト処理を扱い、パフォーマンスとヘルスケア監視のためのツールを提供します。

対象ユーザー

NVIDIA DGX Spark（または 128 GB の統合メモリを備えた同等の GB10 ハードウェア）を利用できるユーザーで、大規模でビジョン対応の AI モデルを高い効率と低レイテンシーでローカル実行する必要がある場合を対象としています。

特長

• 262,144 トークンの巨大なコンテキストウィンドウをサポート。
• 画像と動画入力のためのネイティブビジョンサポートを含む。
• OpenAI 互換 API を提供し、既存ツールへの統合が簡単。
• 自動設定と管理スクリプト（start.sh と stop.sh）を備えています。
• 高い精度のために NVIDIA の量子化認識パフォーマンスディスティラディスト（QAD） FP4 フォーマットに最適化。