ml-energy/zeus

解决的问题

Zeus 解决了深度学习工作负载能源消耗缺乏可见性的问题。它提供工具，可准确测量和优化用于训练和运行 AI 模型的硬件的功耗，帮助开发者减少 AI 的环境影响和运营成本。

工作原理

Zeus 作为一个库和守护进程（zeusd）运行，抽象了不同硬件设备的复杂性。它提供用于能源监控的编程接口和 CLI，以及一系列时间与能源优化器以提高效率。支持广泛的平台，包括 CPU、DRAM、AMD GPU、NVIDIA GPU、Apple Silicon 和 NVIDIA Jetson。

适用人群

需要追踪模型能源足迹，并优化其训练或推理管道以实现更高能源效率的机器学习工程师、研究人员以及注重可持续性的 AI 开发者。

主要亮点

• 广泛的硬件支持：支持 NVIDIA GPU、AMD GPU、Apple Silicon、CPU 和 DRAM。
• PyTorch 生态系统项目：正式被认定为 PyTorch 生态系统的一部分。
• 集成优化：包含用于大规模模型训练的 Perseus 优化器。
• 支持 AI 代理：提供可移植的「代理技能」，帮助 AI 编码代理自动化能源测量。
• 研究支持：基于 NSDI、SOSP 和 NeurIPS 的多篇同行评审论文。