MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks

解决的问题

本项目提供了一个精简的、一键式部署解决方案，用于在多个 NVIDIA DGX Spark 单元上运行 GLM-5.3-Flash 大语言模型。它通过自动化模型权重编排、推测解码和网络配置，解决了构建高性能推理集群的复杂性。

工作原理

它采用容器化方法来部署兼容 OpenAI 的 vLLM 服务器。系统处理模型权重在已连接的 Spark 单元间的分布，实现 DFlash2 推测解码以提高 Token 生成速度，并通过环境变量配置支持各种性能调优配置文件（如 "Speed boost" 和 "Abliteration"）。它专为 GB10 架构设计。

适用人群

本项目适用于拥有 NVIDIA DGX Spark 硬件访问权限，且需要以高吞吐量和低延迟服务 GLM-5.3-Flash 模型的工程师和研究人员。它面向熟悉基于 Linux 的集群管理和环境级配置的用户。

亮点

• 支持跨 2、3 或 4 个 DGX Spark 单元的多节点扩展。
• 包含 DFlash2 推测解码，以实现更快的 Token 生成。
• 提供兼容 OpenAI 的 API，便于与现有的 LLM 应用程序集成。
• 提供可选的性能配置文件，以满足特殊需求，如无审查输出 (Abliteration) 或优化的解码速度。
• 提供针对上下文长度、请求并发性和硬件特定调优的广泛配置选项。