leptonai/gpud

解决的问题

GPUd 通过主动监控硬件并管理 AI/ML 工作负载，确保 GPU 的效率和可靠性。它解决了需要对 GPU 健康状况和性能指标进行统一视图的需求，以防止故障并优化大规模集群中的资源利用率。

工作原理

GPUd 是一个自包含的二进制文件，在 Linux 机器上运行，占用资源极少，将监控任务置于工作负载关键路径之外，以最小化 CPU 和内存开销。它与 Docker、containerd、Kubernetes 以及 NVIDIA 生态系统集成（使用 nvidia-smi、NVML Xid 事件和 DCGM 等工具），以收集和报告 GPU 及 GPU 互连（fabric）指标，例如功耗、温度和硬件降速。

适用对象

它专为大规模 GPU 集群运营者和 AI 基础设施提供商设计，他们需要生产级的监控和可靠性工具。

亮点

• 以 GPU 为中心的监控：提供关键 GPU 和 GPU 互连指标的统一视图。
• 生产就绪：用于 DGX Cloud Lepton 的生产基础设施。
• 易于部署：支持通过简单脚本、systemd 或 Kubernetes 的 Helm 图表进行安装。
• 全面的错误检测：通过 kmsg、NVML Xid 事件和 DCGM 检测关键硬件错误。