awslabs/awsome-distributed-ai

해결 과제

이 프로젝트는 AWS 인프라에서 분산 AI 학습 및 추론의 배포와 운영을 간소화하기 위한 포괄적인 참조 아키텍처와 실행 가능한 예제를 제공합니다. 고성능 GPU 클러스터 구축, 네트워크 최적화(EFA 등) 구성, 그리고 다양한 AWS 서비스 전반에 걸친 분산 학습 프레임워크 구현의 복잡성을 해결합니다.

작동 방식

이 저장소는 다음과 같은 기능 모듈로 구성되어 있습니다:

• Architectures: SageMaker HyperPod, AWS ParallelCluster, AWS PCS 및 Amazon EKS를 사용하는 클러스터용 배포 가능 템플릿(CloudFormation, Terraform).
• Examples: 학습(PyTorch DDP/FSDP, Megatron-LM, NeMo 사용) 및 추론(vLLM, SGLang, NVIDIA Dynamo 사용)을 위한 프레임워크 중심 가이드와 특정 사용 사례별 엔드투엔드 데모.
• Custom AMIs: Packer와 Ansible을 사용하여 최적화된 머신 이미지를 빌드하기 위한 스크립트.
• Validation & Observability: GPU 클러스터 상태 확인, PyTorch 환경 검증, Prometheus 및 Grafana를 통한 네트워크 성능 모니터링 도구.
• Micro-benchmarks: NCCL, NCCOM 및 NVSHMEM을 사용하여 통신 성능을 평가하는 도구.

대상 사용자

AWS의 여러 GPU와 여러 노드로 AI 워크로드를 확장해야 하는 머신러닝 엔지니어 및 인프라 아키텍트, 특히 대규모 모델 학습 및 고처리량 추론을 다루는 사용자를 위해 설계되었습니다.

주요 특징

• 멀티 서비스 지원: SageMaker HyperPod, ParallelCluster, PCS 및 EKS 지원.
• 프레임워크 독립적: 다양한 분산 학습 및 서빙 엔진을 위한 예제 포함.
• Infrastructure as Code: 빠른 클러스터 배포를 위한 즉시 사용 가능한 템플릿 제공.
• 상태 및 성능 도구: 클러스터 안정성과 성능을 보장하기 위한 검증 및 마이크로 벤치마킹 도구 내장.