raids-lab/crater
Crater is a cloud-native AI training & inference platform.
해결하는 문제
Crater는 공유 AI 컴퓨팅 클러스터를 관리하기 위한 Kubernetes 네이티브 컨트롤 플레인을 제공합니다. 다중 테넌트 GPU 리소스 관리를 위해 원시 Kubernetes를 사용할 때 발생하는 복잡성을 제거하고, 수동 YAML 매니페스트 대신 사용자, 할당량, AI 워크로드를 통합된 인터페이스로 관리할 수 있도록 합니다.
작동 방식
Kubernetes와 Volcano 위에 구축된 Crater는 사용자, 계정, 대기열을 하위 컴퓨팅 리소스와 연결하는 운영 계층을 추가합니다. LLM 학습, 추론 서비스, 인터랙티브 개발 환경을 포함한 AI 워크로드의 전체 라이프사이클을 관리하며, 데이터셋, 모델, 컨테이너 이미지 관리를 위한 중앙 집중식 시스템을 제공합니다.
대상 사용자
한 개의 GPU 클러스터를 여러 팀, 학생, 프로젝트 간에 공유해야 하는 대학, 연구소, 기업 AI 팀, 플랫폼 엔지니어에게 적합합니다.
주요 기능
- 다중 테넌트 거버넌스: 계정, 할당량, 승인을 관리하여 공정하고 책임감 있는 리소스 배분을 보장합니다.
- 정책 인식 스케줄링: Volcano를 사용해 큐 기반의 접근 제어 및 이질적 가속기(NVIDIA 등) 간 우선순위 인식 실행을 지원합니다.
- 인터랙티브 워크스페이스: 컨테이너화된 Jupyter, WebIDE, 터미널을 한 번의 클릭으로 배포 가능합니다.
- 자산 관리: 워크로드 간 재사용 가능한 모델, 데이터셋, 이미지를 중앙에서 조직합니다.
- AI 기반 운영: 웹 콘솔, CLI, 에이전트 기반 인터페이스를 제공하여 자동화되고 지능적인 클러스터 관리를 가능하게 합니다.
관련
- 프로젝트
volcano-sh/volcanoVolcano는 CNCF 인큐베이션 프로젝트이며, Kubernetes 네이티브 배치 스케줄러로 간접 스케줄링, GPU 인식, 토폴로지 인식 배치, 우선순위/프리에임션, 풍부한 작업 라이프사이클 관리를 제공합니다. 대규모 AI/ML 트레이닝, Spark/Flink 데이터 파이프라인, HPC 워크로드를 Kubernetes 클러스터에서 효율적으로 실행할 수 있게 해줍니다.
- 프로젝트
Yuan-lab-LLM/ClawManagerClawManager는 오픈소스로, AI 에이전트 워크스페이스(OpenClaw, Hermes, OpenCode, DeepSeek Harness)의 프로비저닝, 거버넌스, 협업을 가능하게 하는 Kubernetes 네이티브 제어 플레인입니다. React UI, Go 백엔드, MySQL 상태, AI 게이트웨이, 노스바운드 API, 보안 보호 서비스를 통합하여, 원클릭 런타임 생성, 모델 접근 감사, 재사용 가능한 리소스 주입, 팀 기반 작업 분해, 계층적 보안 모니터링을 제공합니다. k3s 또는 완전한 Kubernetes 클러스터에서 배포 가능하며, 확장 가능하고 정책 기반의 AI 에이전트 인프라를 필요로 하는 플랫폼 팀을 대상으로 합니다.
- 프로젝트
dstackai/dstack모든 GPU 클라우드, Kubernetes 또는 온프레미스 클러스터에서 AI 개발, 학습 및 추론을 간소화하는 GPU 프로비저닝 및 오케스트레이션을 위한 통합 컨트롤 플레인.
- 프로젝트
skypilot-org/skypilot다양한 AI 인프라에서 AI 워크로드를 실행, 관리, 확장할 수 있는 시스템으로, 벤더 종속성을 피하고 GPU 활용도를 최적화하는 통합 인터페이스를 제공합니다.
- 프로젝트
vfarcic/dot-ainpm으로 게시된 Node 라이브러리로, Kubernetes/DevOps 워크플로우에 LLM 기반 어시스턴트를 추가합니다. 자연어 클러스터 쿼리, 배포 권장 사항, 자동 복구, 정책 기반 프롬프트 라이브러리 및 시맨틱 문서 검색을 위한 CLI와 관리형 플랫폼(MCP)을 제공하며, Kubernetes 클러스터에 쉽게 설치할 수 있도록 패키징되어 있습니다.