GoogleCloudPlatform/cluster-toolkit

Google Cloud Cluster Toolkit(이전 명칭: HPC Toolkit)

정의 – Google이 제공하는 오픈소스 도구로, Google Cloud에서 AI/ML 또는 고성능 컴퓨팅(HPC) 클러스터를 빠르게 생성하고 관리할 수 있게 해줍니다. 간단한 YAML 블루프린트로 클러스터를 설명하고 리소스를 프로비저닝하는 데 필요한 Terraform/Packer 코드를 생성합니다.

핵심 구성 요소

• 블루프린트 – 원하는 인프라(네트워크, 스토리지, 컴퓨팅, Slurm, GKE 등)를 캡처하는 YAML 파일.
• 모듈 – 블루프린트가 조합하는 재사용 가능한 Terraform 또는 Packer 빌딩 블록(예: Slurm 컨트롤러, GPU 노드 풀).
• gcluster CLI – 블루프린트를 자체 포함 배포 폴더로 변환하고 terraform apply/destroy를 실행하는 명령줄 드라이버.
• 배포 폴더 – 생성된 Terraform/Packer 파일이 포함된 디렉토리. 버전 제어 또는 CI/CD에서 사용할 수 있습니다.

일반적인 워크플로

1. gcluster 바이너리 설치(사전 빌드 번들 또는 소스에서 빌드).
2. 블루프린트 선택 또는 작성(예: examples/hpc-slurm.yaml).
3. gcluster create <blueprint> 실행 → 배포 폴더가 생성됩니다.
4. gcluster deploy <folder> 실행 → Terraform을 통해 클러스터를 프로비저닝합니다.
5. gcluster job submit …을 사용하여 GKE 클러스터에서 AI/ML 워크로드를 시작합니다(사전 빌드 이미지 또는 즉석 컨테이너 빌드 지원).
6. 완료되면 gcluster destroy <folder>로 모든 것을 삭제합니다.

주요 기능

• Slurm 기반 HPC 클러스터 배포(A4, H4D 또는 사용자 지정 VM 유형 포함).
• Kueue, JobSet, 선택적 TPU 슬라이싱 또는 Pathways 지원이 포함된 AI 최적화 GKE 클러스터 배포.
• 누락된 Terraform/Packer 바이너리 자동 다운로드(--download-dependencies).
• 내장된 블루프린트 검증 및 원격 측정(옵트아웃 가능).
• 대규모 AI 훈련을 위한 Google Cloud AI Hypercomputer와의 통합.

사용 대상

• GCP에서 수동으로 Terraform을 작성하지 않고 재현 가능하고 반복 가능한 HPC 또는 AI 클러스터가 필요한 연구원 또는 엔지니어.
• 인프라 프로비저닝과 컨테이너화된 AI 작업 제출을 모두 처리하는 단일 CLI를 원하는 팀.
• 벤치마킹 또는 훈련 실행을 위해 임시 클러스터를 빠르게 생성해야 하는 CI/CD 파이프라인.

설치

• 사전 빌드 번들(권장): 릴리스 페이지에서 OS별 gcluster_bundle_*.tgz를 다운로드하고 압축을 푼 후 ./gcluster --help를 실행합니다.
• 소스에서: git clone https://github.com/GoogleCloudPlatform/cluster-toolkit && make && ./gcluster --version.
• Go, Terraform 및 (Windows의 경우) 셸 기반 프로비저너가 필요한 경우 WSL2가 필요합니다.

시작하기

• 필요한 GCP API(Compute, Filestore, Cloud Storage, Service Usage)를 활성화합니다.
• gcloud auth application-default login으로 인증합니다.
• 빠른 시작 가이드를 선택합니다(예: Deploy an HPC cluster with Slurm 또는 Create a self-managed Slurm cluster with an A4 VM).
• 3단계 create → deploy → destroy 사이클을 따릅니다.

작업 제출

• gcluster job submit은 Kueue/JobSet이 활성화된 GKE 클러스터에서 작동합니다.
• 사전 빌드 컨테이너 이미지와 즉석 빌드(--base-image, --build-context)를 모두 지원합니다.
• 기본 프로젝트/클러스터/위치 설정, 작업 목록, 로그 보기, 작업 취소를 위한 도우미를 제공합니다.

고급 기능

• 대규모 AI 워크로드를 위한 동적 TPU 슬라이싱, Pathways 분산 훈련 오케스트레이션 및 GKE Node Auto-Provisioning 플래그.

개발

• 린팅에 pre-commit, TFLint, ShellCheck를 사용합니다.
• 기여 지침은 CONTRIBUTING.md에 있습니다.

요약 – Google Cloud Cluster Toolkit은 Terraform 기반 클러스터 프로비저닝의 복잡성을 추상화하고 Google Cloud에서 인프라 및 AI 작업 관리 모두를 위한 통합 CLI를 제공하는 프로덕션 등급의 오픈소스 프레임워크입니다.