aws/sagemaker-training-toolkit

Train machine learning models within a 🐳 Docker container using 🧠 Amazon SageMaker.

何を解決するか

このツールキットは、任意の Docker コンテナを Amazon SageMaker での機械学習モデルのトレーニングに互換性を持たせる方法を提供します。カスタムトレーニングコンテナを使用する際の環境設定、データパス、ハイパーパラメータの処理に複雑なボイラープレートコードを書く必要がなくなります。

仕組み

このツールキットは Docker イメージ内に Python ライブラリとしてインストールされます。SAGEMAKER_PROGRAM 環境変数で定義されたトレーニングスクリプトのエントリポイントを管理し、SageMaker サービスとトレーニングスクリプト間の通信を処理します。SageMaker が提供するハイパーパラメータ、ファイルシステムの場所、環境変数（入力データチャネルなど）にプログラム的にアクセスできる Environment オブジェクトを提供します。

対象ユーザー

Amazon SageMaker でカスタム Docker コンテナを使用してモデルをトレーニングしているデータサイエンティストや ML エンジニアで、トレーニングスクリプトを SageMaker プラットフォームと標準化された方法で統合したい方。

特徴

  • 簡単な統合: pip でライブラリをインストールし、Dockerfile でエントリポイントスクリプトを定義するだけ。
  • ハイパーパラメータの処理: ハイパーパラメータを自動的にスクリプト引数としてトレーニングエントリポイントに渡します。
  • 環境へのアクセス: 入力データチャネルやモデルディレクトリへのパスを含む、コンテナ環境の読み取り専用スナップショットを提供します。
  • 実行管理: エントリポイントを実行し、特定の出力ファイルを通じて SageMaker プラットフォームに成功または失敗を通知するユーティリティを含みます。

関連

  • プロジェクト
    Kaggle/kagglehub

    データサイエンスフレームワークに、Kaggle のデータセット、モデル、コンペティションリソースをプログラムでダウンロード、アップロード、読み込むための Python ライブラリ。

  • プロジェクト
    Foblex/f-flow

    本番環境向けのワークフロービルダー、AIパイプライン、AI低コードツールを構築するための、Angularネイティブなノードエディターライブラリ。ドラッグアンドドロップと状態管理を内蔵しています。

  • プロジェクト
    ImKKingshuk/LockKnife

    LockKnifeは、Pythonでオーケストレーションされ、Rustで加速されたフレームワークで、Androidフォレンジック、資格情報回復、APK分析、ランタイムインストルメンテーションおよびエクスプロイトを、1つのターミナルベースのワークスペース（TUI）に統合しています。ヘッドレスCLIも利用可能。ADBによるデバイス抽出、オフラインPIN/ブルートフォース攻撃、アーティファクト相関、レポート生成、オプションのFridaベースのランタイムフック、Wi-Fi/Bluetoothエクスプロイト、およびオプションのAI/脅威インテリジェンスモジュールをサポート。インストールは1行スクリプトまたはHomebrewタップで完了。GPL-3.0のみで、法的セキュリティ研究を目的としています。

  • プロジェクト
    ooples/token-optimizer-mcp

    Token Optimizer MCP は、MIT ライセンスの Node.js プラグインで、LLM クライアント（Claude Code、Codex、Gemini など）とローカルファイルシステムの間に配置されます。重複する読み取りをブロックし、発見や決定のプロジェクト単位の知識グラフを構築し、操作およびクライアントごとのトークン節約を測定します。すべてのデータは開発者のマシン上に留まります；ローカルダッシュボードでネットトークン回避量、グラフ健全性、クライアント別会計を可視化できます。