aws/amazon-sagemaker-examples

해결하는 문제

이 리포지토리는 Amazon SageMaker를 사용하여 기계 학습 모델을 구축, 훈련, 배포 및 운영하는 방법을 보여주는 포괄적인 Jupyter 노트북 모음을 제공합니다. 또한 객체 지향 인터페이스를 통해 훈련 작업, 모델 및 엔드포인트와 같은 SageMaker 리소스 관리를 간소화하도록 설계된 새로운 Python SDK인 SageMaker-Core를 소개합니다.

작동 방식

이 프로젝트는 표준 기계 학습 수명 주기를 따르며 ML 기능별로 구성됩니다:

• 훈련: 분산 훈련 및 관리형 스팟 훈련을 포함한 대규모 관리형 훈련 예제.
• 모델 사용자 정의: SFT, DPO, RLVR, RLAIF 및 지속적 사전 훈련과 같은 파인 튜닝 기술 데모.
• 모델 평가: 벤치마크, 사용자 정의 채점 함수 또는 LLM을 심판으로 사용하여 모델을 채점하는 도구.
• 추론: 실시간, 서버리스 및 비동기식 엔드포인트를 통해 모델을 배포하는 방법과 배치 변환에 대한 지침.
• MLOps: SageMaker Pipelines 및 MLflow를 사용하여 CI/CD, 계보 추적 및 실험 추적을 구현하는 예제.

대상

AWS에서 기계 학습 워크플로를 구현하려는 ML 실무자 및 개발자, 특히 ML 워크로드를 위해 AWS 프리미티브를 완전히 사용자 정의하려는 사람.

주요 특징

• SageMaker-Core SDK: 수동 매개변수 지정을 리소스 체인으로 대체하는 객체 지향 Python SDK.
• 전체 수명 주기 적용 범위: 훈련 및 파인 튜닝부터 배포 및 MLOps까지 모든 것을 다룹니다.
• 언어적 다양성: 광범위한 파인 튜닝 기술(SFT, DPO, RLVR)을 지원합니다.
• 통합 환경: 노트북은 즉시 사용할 수 있도록 SageMaker Notebook Instances에 자동으로 로드됩니다.