aws/sagemaker-python-sdk

解决的问题

Amazon SageMaker Python SDK 提供了在 AWS 上训练和部署机器学习模型的统一接口。它消除了管理底层基础设施的复杂性，使开发者可以使用流行的框架（如 PyTorch 和 Apache MXNet）或自定义 Docker 容器，以可扩展的方式构建和托管模型。

工作原理

SDK 提供了用于管理 ML 生命周期的高级 Python 类。在 3.x 版本中，它采用模块化架构，核心、训练和推理功能分别由独立的包管理。主要组件包括：

• ModelTrainer：统一的类，取代特定框架的估算器，用于处理模型训练。
• ModelBuilder：用于部署模型和管理推理端点的统一类。
• 微调训练器：专门用于使用 LoRA 等技术定制基础模型的类（SFTTrainer、DPOTrainer、RLAIFTrainer、RLVRTrainer）。

适用人群

在生产环境中使用 Amazon SageMaker 进行机器学习模型训练、调优和部署的数据科学家和 ML 工程师。

主要亮点

• 统一 API：用单一、直观的类替代多个框架特定的类，用于训练和推理。
• 基础模型定制：原生支持监督微调（SFT）、直接偏好优化（DPO）和基于 AI 反馈的强化学习（RLAIF）。
• 灵活训练：支持自定义 Docker 容器、Amazon 内置算法和分布式训练。
• MLOps 集成：包含超参数调优、模型注册表和处理作业的工具。
• 部署选项：支持将模型部署到 SageMaker 或 Amazon Bedrock。