clearml/clearml-agent

What it solves

ClearML Agent은(는) 제로 설정 오케스트레이션 및 스케줄링 솔루션을 제공함으로써 MLOps 및 LLMOps의 복잡성을 해결합니다. 로컬 및 클라우드 기반 GPU/CPU 리소스의 하이브리드 클러스터에서 머신러닝 실험을 실행하기 위해 수동으로 환경을 설정하거나, YAML/JSON 설정을 하거나, 깊은 DevOps 지식이 필요하지 않도록 합니다.

How it works

Agent은(는) ClearML Server의 특정 큐(queue)를 모니터링하는 작업 스케줄러 역할을 합니다. UI 또는 API를 통해 실험이 큐에 추가되면, Agent은(는):

1. 가상 환경을 생성하거나 지정된 Docker 컨테이너를 실행합니다.
2. Git 리포지토리에서 필요한 코드를 클론합니다.
3. 필요한 Python 패키지를 설치합니다(머신의 CUDA 버전에 따라 PyTorch 버전을 자동으로 선택합니다).
4. 코드를 실행하고 진행 상황을 모니터링하며, 모든 출력(stdout/stderr)을 ClearML UI로 다시 로깅합니다.

It can run on bare-metal, VMs, or within Kubernetes (including a