ray-project/kuberay

해결하는 문제

KubeRay는 Kubernetes에서 Ray 애플리케이션을 배포하고 관리하는 것을 간소화하여, 분산 AI 워크로드의 수동 구성 및 확장 복잡성을 제거합니다.

작동 방식

Kubernetes Operator로서 작동하며, 다양한 워크로드 유형을 관리하기 위한 세 가지 주요 커스텀 리소스 정의(CRD)를 제공합니다.

• RayCluster: Ray 클러스터의 전체 라이프사이클(생성, 삭제, 오토스케일링, 장애 내성)을 관리합니다.
• RayJob: 클러스터 생성 및 작업 제출 프로세스를 자동화하며, 작업 완료 후 클러스터를 자동 삭제할 수 있는 옵션을 제공합니다.
• RayService: RayCluster와 Ray Serve 배포 그래프를 결합하여 고가용성과 무정지 업그레이드를 가능하게 합니다.

또한, 작업 흐름을 간소화하는 kubectl ray 플러그인, 구성 관리를 위한 API 서버, 그리고 실험적인 대시보드(자원 시각화용)도 제공합니다.

대상 사용자

Kubernetes에서 분산 기계학습 트레이닝, LLM 온라인 추론, 배치 추론을 대규모로 실행해야 하는 인프라 엔지니어 및 ML 플랫폼 팀.

주요 특징

• 자동 라이프사이클 관리: 작업에 대한 클러스터 설정부터 정리까지 모든 과정을 처리합니다.
• 고가용성: RayService를 통해 무정지 업그레이드를 제공합니다.
• Kubernetes 통합: 모니터링 도구(Prometheus, Grafana), 큐잉 시스템(Volcano, Kueue), 인그레스 컨트롤러(Nginx)와 통합됩니다.
• 확장성: LLM 트레이닝 및 추론에서 수천 대의 노드까지 확장 가능함이 입증되었습니다.