MiaAI-Lab/sparkDash

sparkDash – NVIDIA DGX Spark 및 기타 GPU 호스트를 위한 실시간 모니터링 대시보드

개요

• 웹 기반 대시보드(React 프론트엔드, Express 백엔드, Docker 우선)로 하나 이상의 NVIDIA DGX Spark (GB10) 머신과 NVIDIA GPU가 장착된 다른 Linux/Windows 호스트의 상태와 성능을 모니터링할 수 있습니다.
• SSH(Windows에서는 네이티브 OpenSSH)를 통해 메트릭을 수집하고 WebSocket을 통해 브라우저로 스트리밍하므로 GPU/CPU 부하, 메모리 사용량, 네트워크, 스토리지, 에너지 소비 및 LLM 특정 카운터의 실시간 그래프를 볼 수 있습니다.

주요 기능

기능	AI 워크로드에 중요한 이유
다중 장치 모니터링	단일 UI에서 DGX Spark 플릿 또는 혼합 GPU 서버를 추적할 수 있습니다. 대시보드를 다시 시작하지 않고도 장치를 추가, 편집, 재정렬 또는 제거할 수 있습니다.
LLM 추론 메트릭	일반적인 추론 서버(llama.cpp, vLLM, sglang, LM Studio, Ollama, TensorFold 등)를 자동 감지하고 실시간 디코드/프리필 초당 토큰 수, 캐시 사용량, 큐 길이, TTFT/E2E 지연 시간 및 모델별 총 토큰 수를 표시합니다.
벤치마크	내장된 디코드, 프리필, 품질(GSM8K, MMLU) 및 도구 평가 스위트를 통해 UI에서 직접 호스팅된 모델의 처리량과 정확도를 측정할 수 있습니다.
GPU 프로세스 보기	VRAM 소비량과 함께 GPU 사용량이 가장 많은 프로세스를 나열하여 실행 중인 작업을 식별하는 데 도움이 됩니다.
통합 메모리 및 RDMA 모니터링	DGX Spark의 경우 통합 메모리 분할, RoCE/RDMA 링크 상태, 트래픽 및 드롭을 표시합니다. 고속 다중 노드 훈련에 중요합니다.
ComfyUI 및 Hermes Agent 통합	선택적 프로브를 통해 Stable-Diffusion 작업 큐(ComfyUI)를 모니터링하고 Hermes Agent를 플릿 전체에서 최신 상태로 유지할 수 있습니다.
크로스 플랫폼 호스트	SSH 또는 PowerShell을 통해 Linux, macOS, Windows(AMD-iGPU Windows 호스트 포함)를 지원하며, 비 Spark 머신에는 별도의 RAM/VRAM 패널을 제공합니다.
모바일 친화적인 PWA	프로그레시브 웹 앱으로 설치할 수 있어 HTTPS(예: Tailscale Serve)를 통해 휴대폰에서 클러스터를 모니터링할 수 있습니다.
Prometheus 내보내기	기존 관찰 가능성 스택과 통합하기 위한 옵트인 /metrics 엔드포인트.
에너지 추적	장치별 및 플릿 전체 에너지 사용량을 표시하고 일일/월별 기록과 선택적 비용 추정을 제공합니다.
보안	SSH 비밀번호는 암호화되어 저장됩니다(AES-256-GCM). 비밀은 구성 파일이나 API 응답에 절대 표시되지 않습니다.

작동 방식

• 수집기는 각 모니터링 대상 호스트에서 실행됩니다(Linux/macOS는 nvidia-smi 및 /proc 데이터 사용, Windows는 OpenSSH + PowerShell 카운터 사용). JSON 스냅샷을 중앙 Express 서버로 푸시합니다.
• 서버는 데이터를 집계하고 스파크라인용 단기 기록을 유지하며 WebSocket 스트림을 통해 React UI에 제공합니다.
• 구성(sparks.json)은 UI를 통해 편집됩니다. 변경 사항은 컨테이너를 다시 시작하지 않고 즉시 적용됩니다.

사용 대상

• 여러 DGX Spark 노드를 실행하고 하드웨어 상태, 에너지 소비 및 LLM 추론 성능을 단일 보기에서 확인해야 하는 AI 연구소 또는 기업.
• 온프레미스 GPU 서버(예: RTX 워크스테이션)를 배포하고 LLM 서비스, Stable-Diffusion 큐 또는 사용자 지정 추론 백엔드도 모니터링하려는 팀.
• 전체 모니터링 스택의 가벼운 Docker 기반 대안을 찾고 Prometheus 메트릭을 내보낼 수 있는 운영 엔지니어.

시작하기

1. 리포지토리를 클론하고 제공된 Docker Compose 파일(개발 또는 프로덕션)을 실행합니다.
2. UI의 Add Spark 마법사를 사용하여 호스트를 지정합니다(SSH 키 또는 비밀번호).
3. 선택적으로 LLM 서버 사전 설정(LM Studio, Ollama 등) 및 기타 서비스(ComfyUI, Hermes)를 활성화합니다.
4. 라이브 대시보드를 보고, 벤치마크를 실행하고, 필요에 따라 메트릭을 내보냅니다.

라이선스: Apache 2.0 – 상업 및 연구 목적으로 무료.

---

모든 세부 사항은 리포지토리의 README에서 직접 가져온 것입니다. 추가 기능은 추론되지 않았습니다.