aws/sagemaker-python-sdk

해결하는 문제

Amazon SageMaker Python SDK는 AWS에서 기계학습 모델을 훈련하고 배포하기 위한 통합 인터페이스를 제공합니다. 하위 인프라스트럭처를 관리하는 복잡성을 제거하여, PyTorch 및 Apache MXNet과 같은 인기 있는 프레임워크 또는 자체 커스텀 Docker 컨테이너를 사용하여 스케일링 가능한 방식으로 모델을 구축하고 호스팅할 수 있습니다.

작동 방식

SDK는 ML 라이프사이클을 관리하기 위한 고수준 Python 클래스를 제공합니다. 3.x 버전에서는 코어, 훈련, 서빙을 위한 별도의 패키지로 구성된 모듈식 아키텍처를 사용합니다. 주요 구성 요소는 다음과 같습니다:

• ModelTrainer: 프레임워크별 추정기들을 대체하는 통합 클래스로, 모델 훈련을 처리합니다.
• ModelBuilder: 모델 배포 및 추론 엔드포인트 관리를 위한 통합 클래스입니다.
• 파인튜닝 트레이너: LoRA와 같은 기법을 사용하여 기초 모델을 사용자 정의하는 전용 클래스(SFTTrainer, DPOTrainer, RLAIFTrainer, RLVRTrainer).

대상 사용자

본격적인 환경에서 Amazon SageMaker를 사용하여 기계학습 모델의 훈련, 튜닝 및 배포를 수행하는 데이터 과학자 및 ML 엔지니어.

주요 특징

• 통합 API: 여러 프레임워크별 클래스를 단일하고 직관적인 훈련 및 추론 클래스로 대체합니다.
• 기초 모델 사용자 정의: 감독하에 파인튜닝(SFT), 직접적 선호 최적화(DPO), AI 피드백 기반 강화학습(RLAIF)을 내장된 지원 기능으로 제공합니다.
• 유연한 훈련: 커스텀 Docker 컨테이너, Amazon의 내장 알고리즘, 분산 훈련을 지원합니다.
• MLOps 통합: 하이퍼파라미터 튜닝, 모델 레지스트리, 프로세싱 작업을 위한 도구를 포함합니다.
• 배포 옵션: SageMaker 또는 Amazon Bedrock에 모델을 배포할 수 있습니다.