ml-energy/zeus

해결하는 문제

Zeus는 딥러닝 워크로드의 에너지 소비에 대한 투명성 부족을 해결합니다. AI 모델을 학습하고 실행하는 데 사용되는 하드웨어의 전력 사용량을 정확히 측정하고 최적화할 수 있는 도구를 제공하여, 개발자가 AI의 환경적 영향과 운영 비용을 줄일 수 있도록 지원합니다.

작동 방식

Zeus는 라이브러리와 데몬(zeusd)으로 작동하며, 다양한 하드웨어 장치의 복잡성을 추상화합니다. 에너지 모니터링을 위한 프로그래밍 인터페이스와 CLI를 제공하며, 시간과 에너지 최적화 도구 모음을 포함하여 효율성을 향상시킵니다. CPU, DRAM, AMD GPU, NVIDIA GPU, Apple Silicon, NVIDIA Jetson 등 다양한 플랫폼을 지원합니다.

대상 사용자

모델의 에너지 발자국을 추적하고, 훈련 또는 추론 파이프라인의 에너지 효율을 개선하고자 하는 머신러닝 엔지니어, 연구자, 지속가능성 중심의 AI 개발자에게 적합합니다.

주요 특징

• 광범위한 하드웨어 지원: NVIDIA GPU, AMD GPU, Apple Silicon, CPU, DRAM을 지원합니다.
• PyTorch 생태계 프로젝트: 공식적으로 PyTorch 생태계의 일부로 인정받았습니다.
• 통합 최적화: 대규모 모델 훈련을 위한 Perseus 최적화 도구를 포함합니다.
• 에이전트 준비: AI 코드 에이전트가 에너지 측정을 자동화할 수 있도록 포터블 "에이전트 기술"을 제공합니다.
• 연구 기반: NSDI, SOSP, NeurIPS의 다수의 동료 검토 논문에 기반합니다.