MiaAI-Lab/sparkDash

sparkDash – 用于 NVIDIA DGX Spark 和其他 GPU 主机的实时监控仪表板

它是什么

• 一个基于 Web 的仪表板（React 前端、Express 后端、Docker 优先），可让您监控一台或多台 NVIDIA DGX Spark (GB10) 机器以及任何其他带有 NVIDIA GPU 的 Linux/Windows 主机的运行状况和性能。
• 它通过 SSH（或 Windows 上的原生 OpenSSH）收集指标，并通过 WebSocket 将其流式传输到浏览器，因此您可以看到 GPU/CPU 负载、内存使用、网络、存储、能源消耗甚至 LLM 特定计数器的实时图表。

关键功能

功能	对 AI 工作负载的重要性
多单元监控	从单个 UI 跟踪一组 DGX Spark 或混合 GPU 服务器；无需重启仪表板即可添加、编辑、重新排序或删除单元。
LLM 推理指标	自动检测常见的推理服务器（llama.cpp、vLLM、sglang、LM Studio、Ollama、TensorFold 等），并显示实时解码/预填充每秒令牌数、缓存使用、队列长度、TTFT/E2E 延迟以及每个模型的令牌总数。
基准测试	内置解码、预填充、质量（GSM8K、MMLU）和工具评估套件，可直接从 UI 测量所托管模型的吞吐量和准确性。
GPU 进程视图	列出占用 GPU 最多的进程及其 VRAM 消耗，帮助您发现失控的作业。
统一内存和 RDMA 监控	对于 DGX Spark，它显示统一内存分配、RoCE/RDMA 链路健康、流量和丢包——这对于高速多节点训练至关重要。
ComfyUI 和 Hermes Agent 集成	可选探针可让您监控 Stable-Diffusion 作业队列（ComfyUI）并保持 Hermes Agent 在整个集群中保持最新。
跨平台主机	通过 SSH 或 PowerShell 支持 Linux、macOS 和 Windows（包括 AMD-iGPU Windows 主机），并为非 Spark 机器提供单独的 RAM/VRAM 面板。
移动友好的 PWA	可作为渐进式 Web 应用安装，因此您可以通过 HTTPS（例如，通过 Tailscale Serve）从手机监控集群。
Prometheus 导出	可选的 /metrics 端点，用于与现有可观测性堆栈集成。
能源跟踪	显示每个单元和整个集群的能源使用情况，并提供每日/每月历史记录和可选成本估算。
安全性	SSH 密码以加密方式存储（AES-256-GCM）；机密永远不会出现在配置文件或 API 响应中。

工作原理

• 收集器在每个受监控主机上运行（Linux/macOS 使用 nvidia-smi 和 /proc 数据；Windows 使用 OpenSSH + PowerShell 计数器）。它们将 JSON 快照推送到中央 Express 服务器。
• 服务器聚合数据，保留短期历史记录以生成迷你图，并通过 WebSocket 流将其提供给 React UI。
• 配置（sparks.json）通过 UI 编辑；更改会立即生效，无需重启容器。

谁可以使用它

• 运行多个 DGX Spark 节点并需要单一视图来查看硬件健康、能源消耗和 LLM 推理性能的 AI 研究实验室或企业。
• 部署本地 GPU 服务器（例如 RTX 工作站）并希望监控 LLM 服务、Stable-Diffusion 队列或自定义推理后端的团队。
• 寻找轻量级、基于 Docker 的替代方案来替代完整监控堆栈，同时仍能导出 Prometheus 指标的操作工程师。

开始使用

1. 克隆仓库并运行提供的 Docker Compose 文件（开发或生产）。
2. 使用 UI 中的 添加 Spark 向导指向主机（SSH 密钥或密码）。
3. 可选地启用 LLM 服务器预设（LM Studio、Ollama 等）和其他服务（ComfyUI、Hermes）。
4. 观看实时仪表板、运行基准测试并根据需要导出指标。

许可证：Apache 2.0 – 免费用于商业和研究用途。

---

所有细节均直接取自仓库的 README；未推断任何额外功能。