aws/deep-learning-containers

AWS Deep Learning Containers (DLCs)

概要 – 主要なAI/MLフレームワーク（PyTorch、TensorFlow、vLLM、Ray、SGLangなど）を、EC2、Amazon SageMaker、Amazon EKSなどのAWSコンピューティングサービスで実行するために必要なCUDA、ドライバ、ライブラリの正確なバージョンとともにバンドルした、すぐに使えるDockerイメージのコレクションです。これらのイメージはビルド、テストされ、セキュリティのために継続的にパッチが適用されています。

重要性 – クラウド上にディープラーニング環境をセットアップするには、通常、適切なフレームワークバージョンの選択、CUDA/cuDNNのマッチング、システムライブラリのインストール、そしてすべてを最新の状態に保つことが必要です。DLCはその摩擦を取り除きます。単一のコンテナタグ（例：2.14-cu133-amzn2023-sagemaker）をプルするだけで、AWSハードウェア上でそのまま動作する、完全に互換性のある本番環境対応のランタイムが得られます。

主な機能（READMEに記載のとおり）

• 幅広いフレームワークのカバレッジ – PyTorch、TensorFlow、vLLM（LLMサービング）、Ray Serve、SGLangなど。それぞれにGPU対応とCPUのみのバリアントがあります。
• 最新のリリース – 自動化されたCIパイプラインが新しいバージョン（例：PyTorch 2.14、vLLM 0.31.0）を継続的に公開し、最新のCUDA（13.3）、NVIDIAドライバ、DeepSpeed、FlashInferなどを含みます。
• セキュリティファースト – すべてのイメージは既知の脆弱性についてスキャンされ、パッチが適用されます。サポートポリシーにより、各バージョンがアップデートを受ける期間が定義されています。
• マルチサービスサポート – 通常のEC2、SageMakerトレーニング/推論、EKSベースのサービング用のタグが用意されているため、AWS AIスタック全体で同じコンテナを使用できます。
• 専門的なLLMサービングイメージ – vLLMおよびvLLM-Omniイメージには、ウェイトキャッシュデーモン、FlashMLA、EFA最適化ネットワークが含まれ、大規模な低レイテンシ推論を実現します。
• ドキュメントとチュートリアル – ドキュメントサイト、利用可能なイメージのカタログ、ステップバイステップのチュートリアル、ブログ記事、EKS上でLLMをデプロイするための実践的なワークショップへのリンクがあります。

典型的なワークフロー

1. 希望するフレームワークとハードウェアに一致するタグを選択します（例：vllm-0.31.0-gpu-py312-ec2）。
2. パブリックAmazon ECRギャラリーからイメージをプルします。
3. AWSインスタンスまたはSageMakerジョブとして実行します。手動でのCUDAインストールは不要です。
4. LLMサービングの場合、提供されているvllm preloadまたはRay Serveエントリポイントでコンテナを起動し、OpenAI互換APIを公開します。

対象ユーザー – 特に大規模言語モデルのトレーニング、ファインチューニング、またはサービングのために、信頼性の高いAWS最適化ランタイムを求めるデータサイエンティスト、MLエンジニア、DevOpsチーム。

ライセンス – Apache-2.0（寛容なライセンスで、商用利用が可能）。