MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark-TensorFold

解决的问题

该项目提供了一种流程化的方法，在单台 NVIDIA DGX Spark 系统上运行 Qwen3.8 Flash Next 大语言模型。它通过提供自动化设置，以 OpenAPI 兼容的 API 提供模型，支持文本和图像输入，从而解决了部署高性能量化模型的复杂性。

工作原理

它使用在 NVIDIA PyTorch 容器中运行的 TensorFold Zig 引擎来管理模型推理。系统支持两个主要的量化检查点：高性能的 NVIDIA FP4 量化版本（默认）和可选的 INT4-AutoRound 版本。引擎处理内存管理、上下文窗口（最大 262,144 个令牌）以及并行请求处理，并提供监控性能和健康状态的工具。

适用对象

该工具针对能够访问 NVIDIA DGX Spark（或类似的具有 128 GB 统一内存的 GB10 硬件）的用户，他们需要在本地以高效率和低延迟运行大规模、支持视觉的 AI 模型。

亮点

• 支持巨大的 262,144 令牌上下文窗口。
• 包含图像和视频输入的原生视觉支持。
• 提供 OpenAPI 兼容接口，便于与现有工具集成。
• 提供自动化设置和管理脚本（start.sh 和 stop.sh）。
• 为了实现高精度，对 NVIDIA 的量化识别流派（QAD）FP4 格式进行了优化。