MiaAI-Lab/sparkDash

sparkDash – NVIDIA DGX Spark およびその他の GPU ホスト向けリアルタイム監視ダッシュボード

概要

• Web ベースのダッシュボード（React フロントエンド、Express バックエンド、Docker ファースト）で、1 台または複数の NVIDIA DGX Spark (GB10) マシンと、NVIDIA GPU を搭載した他の Linux/Windows ホストの健全性とパフォーマンスを監視できます。
• SSH（Windows ではネイティブ OpenSSH）を介してメトリクスを収集し、WebSocket を介してブラウザにストリーミングするため、GPU/CPU 負荷、メモリ使用量、ネットワーク、ストレージ、エネルギー消費、さらには LLM 固有のカウンターのライブグラフを確認できます。

主な機能

機能	AI ワークロードにとっての重要性
マルチユニット監視	単一の UI から DGX Spark のフリートまたは混合 GPU サーバーを追跡できます。ダッシュボードを再起動せずにユニットを追加、編集、並べ替え、削除できます。
LLM 推論メトリクス	一般的な推論サーバー（llama.cpp、vLLM、sglang、LM Studio、Ollama、TensorFold など）を自動検出し、ライブのデコード/プリフィル トークン/秒レート、キャッシュ使用量、キュー長、TTFT/E2E レイテンシ、モデルごとのトークン合計を表示します。
ベンチマーク	組み込みのデコード、プリフィル、品質（GSM8K、MMLU）、ツール評価スイートにより、UI から直接ホストされているモデルのスループットと精度を測定できます。
GPU プロセスビュー	VRAM 消費量を含む GPU 使用率の高いプロセスを一覧表示し、暴走ジョブを特定するのに役立ちます。
ユニファイドメモリと RDMA 監視	DGX Spark では、ユニファイドメモリの分割、RoCE/RDMA リンクの健全性、トラフィック、ドロップを表示します。これは高速マルチノードトレーニングに不可欠です。
ComfyUI と Hermes Agent の統合	オプションのプローブにより、Stable-Diffusion ジョブキュー（ComfyUI）を監視し、Hermes Agent をフリート全体で最新の状態に保つことができます。
クロスプラットフォームホスト	SSH または PowerShell を介して Linux、macOS、Windows（AMD-iGPU Windows ホストを含む）をサポートし、非 Spark マシンには個別の RAM/VRAM パネルを提供します。
モバイルフレンドリーな PWA	プログレッシブ Web アプリとしてインストール可能で、HTTPS（例：Tailscale Serve）を介してスマートフォンからクラスターを監視できます。
Prometheus エクスポート	既存の可観測性スタックとの統合のためのオプトイン /metrics エンドポイント。
エネルギー追跡	ユニットごとおよびフリート全体のエネルギー使用量を表示し、日次/月次の履歴とオプションのコスト見積もりを提供します。
セキュリティ	SSH パスワードは暗号化されて保存されます（AES-256-GCM）。シークレットが設定ファイルや API 応答に表示されることはありません。

仕組み

• コレクターは各監視対象ホストで実行されます（Linux/macOS は nvidia-smi と /proc データを使用、Windows は OpenSSH + PowerShell カウンターを使用）。JSON スナップショットを中央の Express サーバーにプッシュします。
• サーバーはデータを集約し、スパークライン用の短期履歴を保持し、WebSocket ストリームを介して React UI に提供します。
• 設定（sparks.json）は UI を介して編集されます。変更はコンテナを再起動せずに即座に適用されます。

誰が使用するか

• 複数の DGX Spark ノードを実行し、ハードウェアの健全性、エネルギー消費、LLM 推論パフォーマンスを単一のビューで確認する必要がある AI 研究ラボや企業。
• オンプレミスの GPU サーバー（例：RTX ワークステーション）を展開し、LLM サービス、Stable-Diffusion キュー、またはカスタム推論バックエンドも監視したいチーム。
• フル機能の監視スタックに代わる軽量な Docker ベースの代替手段を探しつつ、Prometheus メトリクスをエクスポートできる運用エンジニア。

はじめに

1. リポジトリをクローンし、提供されている Docker Compose ファイル（開発用または本番用）を実行します。
2. UI の Add Spark ウィザードを使用して、ホストを指定します（SSH キーまたはパスワード）。
3. オプションで、LLM サーバープリセット（LM Studio、Ollama など）やその他のサービス（ComfyUI、Hermes）を有効にします。
4. ライブダッシュボードを確認し、ベンチマークを実行し、必要に応じてメトリクスをエクスポートします。

ライセンス：Apache 2.0 – 商用および研究目的で無料。

---

すべての詳細はリポジトリの README から直接取得されています。追加の機能は推測されていません。