aws/amazon-sagemaker-examples

解決的問題

此儲存庫提供了全面的 Jupyter 筆記本集合，示範如何使用 Amazon SageMaker 來建置、訓練、部署及營運機器學習模型。它還介紹了 SageMaker-Core，這是一個新的 Python SDK，旨在透過物件導向介面簡化對訓練任務、模型和端點等 SageMaker 資源的管理。

運作方式

此專案按 ML 功能進行組織，遵循標準的機器學習生命週期：

• 訓練：大規模受管訓練的範例，包括分散式訓練和受管 Spot 訓練。
• 模型自訂：微調技術的示範，例如 SFT、DPO、RLVR、RLAIF 和持續預先訓練。
• 模型評估：使用基準測試、自訂評分函數或以 LLM 作為評審來對模型進行評分的工具。
• 推論：透過即時、無伺服器和非同步端點，以及批次轉換來部署模型的指南。
• MLOps：使用 SageMaker Pipelines 和 MLflow 實作 CI/CD、譜系追蹤和實驗追蹤的範例。

適用對象

希望在 AWS 上實作機器學習工作流程的 ML 實務工作者和開發人員，特別是那些尋求對其 ML 工作負載的 AWS 基本元素進行完全自訂的人員。

重點特色

• SageMaker-Core SDK：一個物件導向的 Python SDK，以資源鏈接取代手動參數指定。
• 完整生命週期涵蓋：涵蓋從訓練和微調到部署和 MLOps 的所有內容。
• 語言多樣性：支援廣泛的微調技術（SFT、DPO、RLVR）。
• 整合環境：筆記本會自動載入 SageMaker Notebook Instances 以便立即使用。