aws/amazon-sagemaker-examples

解决的问题

此存储库提供了全面的 Jupyter 笔记本集合，演示如何使用 Amazon SageMaker 来构建、训练、部署和运营机器学习模型。它还介绍了 SageMaker-Core，这是一个新的 Python SDK，旨在通过面向对象的界面简化对训练作业、模型和端点等 SageMaker 资源的管理。

工作原理

此项目按 ML 功能进行组织，遵循标准的机器学习生命周期：

• 训练：大规模托管训练的示例，包括分布式训练和托管 Spot 训练。
• 模型定制：微调技术的演示，例如 SFT、DPO、RLVR、RLAIF 和持续预训练。
• 模型评估：使用基准测试、自定义评分函数或以 LLM 作为评审来对模型进行评分的工具。
• 推理：通过实时、无服务器和异步端点，以及批量转换来部署模型的指南。
• MLOps：使用 SageMaker Pipelines 和 MLflow 实现 CI/CD、血缘追踪和实验追踪的示例。

适用对象

希望在 AWS 上实施机器学习工作流程的 ML 从业者和开发人员，特别是那些寻求对其 ML 工作负载的 AWS 基元进行完全定制的人员。

亮点

• SageMaker-Core SDK：一个面向对象的 Python SDK，以资源链接取代手动参数指定。
• 全生命周期覆盖：涵盖从训练和微调到部署和 MLOps 的所有内容。
• 语言多样性：支持广泛的微调技术（SFT、DPO、RLVR）。
• 集成环境：笔记本会自动加载到 SageMaker Notebook Instances 中以便立即使用。