aws/sagemaker-training-toolkit
Train machine learning models within a 🐳 Docker container using 🧠 Amazon SageMaker.
解決的問題
此工具包提供了一種方法,讓任何 Docker 容器都能與 Amazon SageMaker 兼容,用於訓練機器學習模型。它消除了使用自訂訓練容器時,為處理環境設定、資料路徑和超參數而撰寫複雜樣板程式碼的需要。
工作原理
該工具包作為 Python 套件安裝於 Docker 映像中。它管理由 SAGEMAKER_PROGRAM 環境變數定義的訓練腳本入口點,並處理 SageMaker 服務與訓練腳本之間的通訊。它提供一個 Environment 物件,可程式化地存取 SageMaker 提供的超參數、檔案系統路徑與環境變數(例如輸入資料通道)。
適用對象
使用自訂 Docker 容器在 Amazon SageMaker 上訓練模型,並希望以標準化方式將訓練腳本與 SageMaker 平台整合的資料科學家與機器學習工程師。
主要特色
- 易於整合:只需透過 pip 安裝套件,並在 Dockerfile 中定義入口點腳本。
- 超參數處理:自動將超參數作為腳本參數傳遞給訓練入口點。
- 環境存取:提供容器環境的唯讀快照,包含輸入資料通道路徑與模型目錄。
- 執行管理:包含一個實用工具,用於執行入口點,並透過特定輸出檔案向 SageMaker 平台傳遞成功或失敗訊號。
相關
- 專案
- 專案
- 專案
- 專案