aws/sagemaker-training-toolkit

Train machine learning models within a 🐳 Docker container using 🧠 Amazon SageMaker.

解決的問題

此工具包提供了一種方法,讓任何 Docker 容器都能與 Amazon SageMaker 兼容,用於訓練機器學習模型。它消除了使用自訂訓練容器時,為處理環境設定、資料路徑和超參數而撰寫複雜樣板程式碼的需要。

工作原理

該工具包作為 Python 套件安裝於 Docker 映像中。它管理由 SAGEMAKER_PROGRAM 環境變數定義的訓練腳本入口點,並處理 SageMaker 服務與訓練腳本之間的通訊。它提供一個 Environment 物件,可程式化地存取 SageMaker 提供的超參數、檔案系統路徑與環境變數(例如輸入資料通道)。

適用對象

使用自訂 Docker 容器在 Amazon SageMaker 上訓練模型,並希望以標準化方式將訓練腳本與 SageMaker 平台整合的資料科學家與機器學習工程師。

主要特色

  • 易於整合:只需透過 pip 安裝套件,並在 Dockerfile 中定義入口點腳本。
  • 超參數處理:自動將超參數作為腳本參數傳遞給訓練入口點。
  • 環境存取:提供容器環境的唯讀快照,包含輸入資料通道路徑與模型目錄。
  • 執行管理:包含一個實用工具,用於執行入口點,並透過特定輸出檔案向 SageMaker 平台傳遞成功或失敗訊號。

相關

  • 專案
  • 專案
  • 專案
  • 專案