leptonai/gpud

What it solves

GPUd は、ハードウェアを能動的に監視し、AI/ML ワークロードを管理することで、 GPU 効率と信頼性を確保します。大規模なクラスターにおける故障を防止し、リソース利用率を最適化するために、 GPU 健康状態とパフォーマンス指標の統一されたビューを提供します。

How it works

GPUd は、 Linux マシン上で低フットプリントで動作する自己完結型のバイナリです。監視タスクをワークロードのクリティカルパスから切り離すことで、 CPU とメモリのオーバーヘッドを最小限に抑えます。

Docker、containerd、Kubernetes、および NVIDIA エコシステム（nvidia-smi、NVML Xid events、および DCGM などのツールを使用）と統合し、電力、温度、ハードウェアの速度低下などの GPU および GPU fabric 指標を収集・報告します。

Who it’s for

大規模な GPU クラスターのオペレーターや、プロダクショングレードの監視と信頼性ツールをが必要とする AI インフラストラクチャプロバイダー向けに設計されています。

Highlights

• GPU-Centric Monitoring: 重要な GPU および GPU fabric 指標の統一されたビューを提供します。
• Production Ready: DGX Cloud Lepton のプロダクションインフラストラクチャで使用されています。
• Easy Deployment: シンプルなスクリプト、systemd、または Kubernetes 用の Helm charts によるインストールをサポートしています。
• Comprehensive Error Detection: kmsg、NVML Xid events、および DCGM を通じて、重大なハードウェアエラーを検出します。