aws/deep-learning-containers

AWS Deep Learning Containers (DLCs)

它是什么 – 一系列现成的Docker镜像，将流行的AI/ML框架（PyTorch、TensorFlow、vLLM、Ray、SGLang等）与在EC2、Amazon SageMaker和Amazon EKS等AWS计算服务上运行所需的精确CUDA、驱动程序和库版本捆绑在一起。这些镜像经过构建、测试，并持续进行安全修补。

为什么重要 – 在云上设置深度学习环境通常涉及选择合适的框架版本、匹配CUDA/cuDNN、安装系统库并保持一切最新。DLC消除了这些麻烦：您只需拉取一个容器标签（例如2.14-cu133-amzn2023-sagemaker），即可获得一个完全兼容、生产就绪的运行时，在AWS硬件上开箱即用。

主要功能（如README所述）

• 广泛的框架覆盖 – PyTorch、TensorFlow、vLLM（LLM服务）、Ray Serve、SGLang等，每个都有启用GPU和仅CPU的变体。
• 最新版本 – 自动化CI管道持续发布新版本（例如PyTorch 2.14、vLLM 0.31.0），并包含最新的CUDA（13.3）、NVIDIA驱动、DeepSpeed、FlashInfer等。
• 安全优先 – 每个镜像都经过扫描并修补已知漏洞；支持策略定义了每个版本接收更新的时长。
• 多服务支持 – 提供普通EC2、SageMaker训练/推理和基于EKS的服务标签，因此同一容器可用于整个AWS AI堆栈。
• 专门的LLM服务镜像 – vLLM和vLLM-Omni镜像包含权重缓存守护进程、FlashMLA和EFA优化的网络，以实现大规模低延迟推理。
• 文档和教程 – 提供文档站点、可用镜像目录、分步教程、博客文章以及在EKS上部署LLM的实践工作坊的链接。

典型工作流程

1. 选择与所需框架和硬件匹配的标签（例如vllm-0.31.0-gpu-py312-ec2）。
2. 从公共Amazon ECR库中拉取镜像。
3. 在AWS实例上或作为SageMaker作业运行 – 无需手动安装CUDA。
4. 对于LLM服务，使用提供的vllm preload或Ray Serve入口点启动容器，并公开OpenAI兼容的API。

谁应该使用 – 希望获得可靠、AWS优化的运行时来训练、微调或服务模型（尤其是大型语言模型）的数据科学家、ML工程师和DevOps团队。

许可证 – Apache-2.0（宽松许可，允许商业用途）。