dsx-ai-factory/run-ai

해결하는 문제

NVIDIA Run:ai는 Kubernetes 환경에서 여러 팀과 프로젝트 간에 고가의 GPU 리소스를 관리하고 공유하는 문제를 해결합니다. 중앙 집중식 플랫폼을 제공하여 AI 워크로드를 스케줄링, 거버넌스, 모니터링함으로써 리소스 경합과 미사용을 방지합니다.

작동 방식

Run:ai는 Kubernetes 위에 위치하는 오케스트레이션 레이어로 작동합니다. 관리를 위한 중앙 제어 플레인과 기본 Kubernetes 스케줄링을 확장하는 클러스터별 서비스로 구성됩니다. 공정 공유 스케줄링, 선점, 부분 GPU 할당과 같은 고급 기술을 사용하여 AI 훈련, 추론, 개발 워크로드가 정의된 조직 정책에 따라 필요한 리소스를 받을 수 있도록 보장합니다.

대상 사용자

이 플랫폼은 여러 팀, 부서 또는 Kubernetes 클러스터에 걸쳐 공유 GPU 인프라를 관리하고 리소스 할당량을 적용하며 전반적인 GPU 활용도를 개선해야 하는 조직 및 플랫폼 엔지니어를 위해 설계되었습니다.

주요 기능

• 공정 공유, 선점, 빈 패킹을 포함한 AI 인지 GPU 스케줄링.
• 동적, 부분 GPU 할당으로 하드웨어 효율성 극대화.
• GPU 워크로드에 대한 중앙 집중식 멀티 클러스터 관리 및 관찰 가능성.
• 역할 기반 액세스 제어 및 거버넌스로 조직 정책 적용.
• Kubeflow, Ray, KServe와 같은 표준 Kubernetes 워크플로 및 도구와의 원활한 통합.