aws/sagemaker-training-toolkit
Train machine learning models within a 🐳 Docker container using 🧠 Amazon SageMaker.
해결하는 문제
이 툴킷은 어떤 Docker 컨테이너라도 Amazon SageMaker에서 기계학습 모델을 훈련시키는 데 호환되도록 만드는 방법을 제공합니다. 커스텀 훈련 컨테이너를 사용할 때 환경 설정, 데이터 경로, 하이퍼파라미터 처리를 위한 복잡한 반복 코드를 작성할 필요가 없습니다.
작동 방식
이 툴킷은 Docker 이미지 내부에 Python 라이브러리로 설치됩니다. SAGEMAKER_PROGRAM 환경 변수로 정의된 훈련 스크립트의 진입점(entry point)을 관리하고, SageMaker 서비스와 훈련 스크립트 간의 통신을 처리합니다. SageMaker가 제공하는 하이퍼파라미터, 파일 시스템 경로, 환경 변수(예: 입력 데이터 채널)에 프로그래밍 방식으로 접근할 수 있는 Environment 객체를 제공합니다.
대상 사용자
Amazon SageMaker에서 커스텀 Docker 컨테이너를 사용하여 모델을 훈련시키고 있으며, 훈련 스크립트를 SageMaker 플랫폼과 표준화된 방식으로 통합하고자 하는 데이터 과학자 및 ML 엔지니어.
주요 기능
- 간편한 통합: pip를 통해 라이브러리를 설치하고 Dockerfile에서 진입점 스크립트를 정의하기만 하면 됩니다.
- 하이퍼파라미터 처리: 하이퍼파라미터를 자동으로 훈련 진입점 스크립트의 인수로 전달합니다.
- 환경 접근: 입력 데이터 채널 및 모델 디렉터리 경로를 포함한 컨테이너 환경의 읽기 전용 스냅샷을 제공합니다.
- 실행 관리: 진입점 스크립트를 실행하고, 특정 출력 파일을 통해 SageMaker 플랫폼에 성공 또는 실패를 알리는 유틸리티를 포함합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트