aws/amazon-sagemaker-examples

解決する課題

このリポジトリは、Amazon SageMaker を使用して機械学習モデルを構築、トレーニング、デプロイ、および運用する方法を示す、包括的な Jupyter ノートブックのコレクションを提供します。また、オブジェクト指向インターフェースを通じてトレーニングジョブ、モデル、エンドポイントなどの SageMaker リソースの管理を簡素化するために設計された新しい Python SDK である SageMaker-Core を紹介します。

仕組み

このプロジェクトは ML 機能ごとに編成され、標準的な機械学習ライフサイクルに従っています：

• トレーニング：分散トレーニングやマネージドスポットトレーニングなど、大規模なマネージドトレーニングの例。
• モデルのカスタマイズ：SFT、DPO、RLVR、RLAIF、継続的プレトレーニングなどのファインチューニング手法のデモンストレーション。
• モデル評価：ベンチマーク、カスタムスコアリング関数、または LLM をジャッジとして使用してモデルをスコアリングするためのツール。
• 推論：リアルタイム、サーバーレス、非同期エンドポイント、およびバッチ変換を介してモデルをデプロイするためのガイダンス。
• MLOps：SageMaker Pipelines と MLflow を使用して CI/CD、リネージ追跡、実験追跡を実装する例。

対象者

AWS 上で機械学習ワークフローを実装したい ML 実践者および開発者、特に ML ワークロードのために AWS プリミティブを完全にカスタマイズしたいと考えている方。

ハイライト

• SageMaker-Core SDK：手動のパラメータ指定をリソースチェーンに置き換えるオブジェクト指向の Python SDK。
• 完全なライフサイクルカバレッジ：トレーニングとファインチューニングからデプロイと MLOps までをカバー。
• 言語的多様性：幅広いファインチューニング手法（SFT、DPO、RLVR）をサポート。
• 統合環境：ノートブックは SageMaker Notebook Instances に自動的にロードされ、すぐに使用できます。