ml-energy/zeus

解決的問題

Zeus 解決了深度學習工作負載能源消耗缺乏可見性的問題。它提供工具，可精確測量和優化用於訓練與執行 AI 模型的硬體功耗，協助開發者減少 AI 的環境影響與營運成本。

工作原理

Zeus 作為一個程式庫與守護程序（zeusd）運作，抽象化不同硬體裝置的複雜性。它提供程式介面與 CLI 用於能源監控，並附帶一系列時間與能源最佳化工具以提升效率。支援廣泛的平台，包括 CPU、DRAM、AMD GPU、NVIDIA GPU、Apple Silicon 與 NVIDIA Jetson。

適用對象

需要追蹤模型能源足跡，並優化其訓練或推論流程以提升能源效率的機器學習工程師、研究人員，以及注重永續性的 AI 開發者。

主要亮點

• 廣泛的硬體支援：支援 NVIDIA GPU、AMD GPU、Apple Silicon、CPU 與 DRAM。
• PyTorch 生態系統專案：正式被認可為 PyTorch 生態系統的一部分。
• 整合最佳化：內建用於大型模型訓練的 Perseus 最佳化器。
• 支援代理：提供可移植的「代理技能」，協助 AI 編碼代理自動化能源測量。
• 研究基礎：基於 NSDI、SOSP 與 NeurIPS 的多篇同行審查論文。