kai-scheduler/KAI-Scheduler

해결하는 문제

KAI Scheduler는 대규모 Kubernetes 클러스터에서 GPU 리소스를 효율적으로 관리하고 할당하는 문제를 해결합니다. 리소스 분할을 방지하고, 소규모 인터랙티브 작업부터 대규모 분산 학습 및 추론 작업에 이르기까지 다양한 팀과 워크로드 간에 컴퓨팅 파워를 공정하게 분배합니다.

작동 방식

kube-batch 기반으로 구축된 KAI Scheduler는 GPU를 동적으로 할당하는 전용 Kubernetes 스케줄러입니다. 비닝 패킹과 같은 고급 배치 전략을 사용하여 분할을 최소화하고, 분산 스케줄링을 통해 내구성을 확보합니다. 드미넌트 리소스 페어니스(DRF) 및 시간 기반 페어셰어와 같은 공정성 정책을 구현하여 한 사용자나 팀이 클러스터를 독점하는 것을 방지합니다.

대상 사용자

수천 대의 노드 규모의 대규모 GPU 클러스터를 관리하는 관리자들을 위한 것입니다. Ray 또는 분리형 서빙 아키텍처를 사용하는 AI/ML 워크로드를 오케스트레이션해야 하는 사용자에게 적합합니다.

주요 기능

• 탑로지 인식 스케줄링(TAS): 물리적 하드웨어 토폴로지에 기반하여 포드 배치를 최적화하여 성능을 향상시킵니다.
• 계층적 큐: 다수의 레벨 큐를 통해 조직적 제어를 가능하게 하며, 특정 할당량과 우선순위를 설정할 수 있습니다.
• 강 제어 스케줄링: 그룹 내 모든 포드가 동시에 스케줄되거나 전혀 스케줄되지 않음을 보장하여 데드락을 방지합니다.
• GPU 공유: 단일 또는 다중 GPU를 여러 워크로드가 공유할 수 있어 자원 활용도를 극대화합니다.
• 동적 리소스 할당(DRA): NVIDIA GB200/GB300과 같은 벤더 전용 하드웨어를 지원합니다.
• 엘라스틱 워크로드: 정의된 범위 내에서 워크로드의 동적 확장 및 축소를 지원합니다.