aws/sagemaker-python-sdk

何を解決するか

Amazon SageMaker Python SDK は、AWS 上で機械学習モデルのトレーニングとデプロイを行うための統合インターフェースを提供します。下位のインフラストラクチャの管理の複雑さを排除し、PyTorch や Apache MXNet などの人気フレームワーク、または独自のカスタム Docker コンテナを使用して、スケール可能な形でモデルの構築とホスティングが可能になります。

仕組み

SDK は、ML ライフサイクルを管理する高レベルの Python クラスを提供します。バージョン 3.x では、コア、トレーニング、サービング用の別々のパッケージを持つモジュールアーキテクチャを使用しています。主なコンポーネントは以下の通りです：

• ModelTrainer: フレームワーク固有の推定器を置き換える統合クラスで、モデルのトレーニングを処理します。
• ModelBuilder: モデルのデプロイとインファレンスエンドポイントの管理を行う統合クラス。
• ファインチューニングトレーナー: LoRA などの技術を使用して、ファウンデーションモデルをカスタマイズするための専用クラス（SFTTrainer、DPOTrainer、RLAIFTrainer、RLVRTrainer）。

対象ユーザー

本番環境で Amazon SageMaker を使用して機械学習モデルのトレーニング、チューニング、デプロイを行うデータサイエンティストおよび ML エンジニア。

特徴

• 統合 API: 複数のフレームワーク固有のクラスを、トレーニングおよびインファレンス用の単一で直感的なクラスに置き換えます。
• ファウンデーションモデルのカスタマイズ: 監督下でのファインチューニング（SFT）、直接的な好み最適化（DPO）、AIフィードバックからの強化学習（RLAIF）をネイティブでサポート。
• 柔軟なトレーニング: カスタム Docker コンテナ、Amazon の組み込みアルゴリズム、分散トレーニングをサポート。
• MLOps 統合: ハイパーパラメータチューニング、モデルレジストリ、プロセッシングジョブ用のツールを含む。
• デプロイオプション: SageMaker または Amazon Bedrock へのモデルデプロイが可能。