NVIDIA/aicr

해결하는 문제

GPU 가속 Kubernetes 클러스터를 실행하는 것은 커널 버전, 드라이버, 컨테이너 런타임 및 Kubernetes 릴리스 간의 작은 불일치로 인해 진단하기 어려운 장애가 발생할 수 있어 종종 신뢰할 수 없습니다. AI Cluster Runtime (AICR)은 "레시피"라고 불리는 버전이 고정되고 검증된 구성을 제공하여 이러한 추측을 제거하고, 특정 워크로드에 적합한 소프트웨어와 하드웨어 조합이 사용되도록 보장합니다.

작동 방식

AICR은 레시피 엔진을 사용하여 사용자의 대상 환경(클라우드 제공업체, GPU 유형, OS 및 워크로드 의도)을 검증된 overlays 및 mixins 라이브러리와 일치시킵니다. 그런 다음 번들러를 사용하여 이러한 레시피를 Helm, Argo CD, Flux, Helmfile과 같은 인기 있는 GitOps 도구를 위한 배포 준비가 완료된 아티팩트로 변환합니다. 클러스터가 의도한 대로 실행되고 있는지 확인하기 위해 Snapshot Agent가 클러스터의 라이브 상태를 캡처하며, AICR 검증기가 이를 원래 레시피와 비교하여 구성 드리프트나 성능 문제를 확인합니다.

대상 사용자

다양한 클라우드 제공업체(AWS, GCP, Azure) 또는 온프레미스 환경 전반에서 AI 학습 및 추론 워크로드를 위해 GPU 가속 Kubernetes 클러스터를 관리하는 플랫폼 엔지니어 및 DevOps 팀.

주요 특징

• 멀티 디플로이어 지원: Argo CD, Flux, Helm 및 Helmfile과 호환되는 번들을 생성합니다.
• 포괄적인 검증: 배포, 성능(학습/추론) 및 적합성에 대한 다단계 검증을 포함합니다.
• 공급망 보안: Cosign/Sigstore를 사용하여 SLSA Build Level 3 출처 증명, 서명된 SBOM 및 이미지 증명을 구현합니다.
• 드리프트 감지: 클러스터 스냅샷을 비교하여 시간이 지남에 따라 발생하는 구성 변경 사항을 식별하는 기능.
• 광범위한 하드웨어 지원: H100, A100, B200 및 L40S를 포함한 광범위한 NVIDIA GPU에 대해 검증되었습니다.