aws/deep-learning-containers

AWS Deep Learning Containers (DLCs)

정의 – 인기 있는 AI/ML 프레임워크(PyTorch, TensorFlow, vLLM, Ray, SGLang 등)를 EC2, Amazon SageMaker, Amazon EKS와 같은 AWS 컴퓨팅 서비스에서 실행하는 데 필요한 정확한 CUDA, 드라이버, 라이브러리 버전과 함께 번들로 제공되는 바로 사용할 수 있는 Docker 이미지 모음입니다. 이미지는 빌드, 테스트 및 보안을 위해 지속적으로 패치됩니다.

중요성 – 클라우드에서 딥러닝 환경을 설정하려면 일반적으로 올바른 프레임워크 버전을 선택하고, CUDA/cuDNN을 일치시키고, 시스템 라이브러리를 설치하고, 모든 것을 최신 상태로 유지해야 합니다. DLC는 이러한 불편함을 제거합니다. 단일 컨테이너 태그(예: 2.14-cu133-amzn2023-sagemaker)를 풀하면 AWS 하드웨어에서 즉시 작동하는 완전히 호환되는 프로덕션 준비 런타임을 얻을 수 있습니다.

주요 기능(README에 설명된 대로)

• 광범위한 프레임워크 범위 – PyTorch, TensorFlow, vLLM(LLM 서빙), Ray Serve, SGLang 등. 각각 GPU 지원 및 CPU 전용 변형이 있습니다.
• 최신 릴리스 – 자동화된 CI 파이프라인이 새 버전(예: PyTorch 2.14, vLLM 0.31.0)을 지속적으로 게시하고 최신 CUDA(13.3), NVIDIA 드라이버, DeepSpeed, FlashInfer 등을 포함합니다.
• 보안 우선 – 모든 이미지는 알려진 취약점에 대해 스캔되고 패치됩니다. 지원 정책은 각 버전이 업데이트를 받는 기간을 정의합니다.
• 멀티 서비스 지원 – 일반 EC2, SageMaker 훈련/추론, EKS 기반 서빙용 태그가 제공되므로 AWS AI 스택 전체에서 동일한 컨테이너를 사용할 수 있습니다.
• 전문 LLM 서빙 이미지 – vLLM 및 vLLM-Omni 이미지에는 대규모 저지연 추론을 위한 가중치 캐시 데몬, FlashMLA, EFA 최적화 네트워킹이 포함됩니다.
• 문서 및 튜토리얼 – 문서 사이트, 사용 가능한 이미지 카탈로그, 단계별 튜토리얼, 블로그 게시물, EKS에서 LLM 배포를 위한 실습 워크샵에 대한 링크가 있습니다.

일반적인 워크플로우

1. 원하는 프레임워크와 하드웨어에 맞는 태그를 선택합니다(예: vllm-0.31.0-gpu-py312-ec2).
2. 공개 Amazon ECR 갤러리에서 이미지를 풀합니다.
3. AWS 인스턴스 또는 SageMaker 작업으로 실행합니다. 수동 CUDA 설치가 필요 없습니다.
4. LLM 서빙의 경우 제공된 vllm preload 또는 Ray Serve 엔트리포인트로 컨테이너를 시작하고 OpenAI 호환 API를 노출합니다.

대상 사용자 – 특히 대규모 언어 모델의 훈련, 미세 조정 또는 서빙을 위해 안정적인 AWS 최적화 런타임이 필요한 데이터 과학자, ML 엔지니어, DevOps 팀.

라이선스 – Apache-2.0(허용적이며 상업적 사용 가능).