raids-lab/crater

해결하는 문제

Crater는 공유 AI 컴퓨팅 클러스터를 관리하기 위한 Kubernetes 네이티브 컨트롤 플레인을 제공합니다. 다중 테넌트 GPU 리소스 관리를 위해 원시 Kubernetes를 사용할 때 발생하는 복잡성을 제거하고, 수동 YAML 매니페스트 대신 사용자, 할당량, AI 워크로드를 통합된 인터페이스로 관리할 수 있도록 합니다.

작동 방식

Kubernetes와 Volcano 위에 구축된 Crater는 사용자, 계정, 대기열을 하위 컴퓨팅 리소스와 연결하는 운영 계층을 추가합니다. LLM 학습, 추론 서비스, 인터랙티브 개발 환경을 포함한 AI 워크로드의 전체 라이프사이클을 관리하며, 데이터셋, 모델, 컨테이너 이미지 관리를 위한 중앙 집중식 시스템을 제공합니다.

대상 사용자

한 개의 GPU 클러스터를 여러 팀, 학생, 프로젝트 간에 공유해야 하는 대학, 연구소, 기업 AI 팀, 플랫폼 엔지니어에게 적합합니다.

주요 기능

• 다중 테넌트 거버넌스: 계정, 할당량, 승인을 관리하여 공정하고 책임감 있는 리소스 배분을 보장합니다.
• 정책 인식 스케줄링: Volcano를 사용해 큐 기반의 접근 제어 및 이질적 가속기(NVIDIA 등) 간 우선순위 인식 실행을 지원합니다.
• 인터랙티브 워크스페이스: 컨테이너화된 Jupyter, WebIDE, 터미널을 한 번의 클릭으로 배포 가능합니다.
• 자산 관리: 워크로드 간 재사용 가능한 모델, 데이터셋, 이미지를 중앙에서 조직합니다.
• AI 기반 운영: 웹 콘솔, CLI, 에이전트 기반 인터페이스를 제공하여 자동화되고 지능적인 클러스터 관리를 가능하게 합니다.