awslabs/awsome-distributed-ai

解决的问题

本项目提供了一套完整的参考架构与可执行示例，旨在简化在 AWS 基础设施上部署与操作分布式 AI 训练与推理的流程。它解决了建立高性能 GPU 集群、配置网络优化（如 EFA）以及在不同 AWS 服务间实现分布式训练框架的复杂性。

运作方式

本仓库分为几个功能模块：

• Architectures: 使用 SageMaker HyperPod、AWS ParallelCluster、AWS PCS 和 Amazon EKS 建立集群的可部署模板（CloudFormation、Terraform）。
• Examples: 以框架为中心的训练指南（使用 PyTorch DDP/FSDP、Megatron-LM、NeMo）与推理指南（使用 vLLM、SGLang、NVIDIA Dynamo），以及特定使用案例的端到端演示。
• Custom AMIs: 使用 Packer 和 Ansible 构建优化机器镜像的脚本。
• Validation & Observability: 用于检查 GPU 集群健康状态、验证 PyTorch 环境，以及通过 Prometheus 和 Grafana 监控网络性能的工具。
• Micro-benchmarks: 使用 NCCL、NCCOM 和 NVSHMEM 评估通信性能的工具。

目标对象

专为需要将 AI 工作负载扩展至 AWS 上多个 GPU 与多个节点的机器学习工程师与基础设施架构师所设计，特别是针对大规模模型训练与高吞吐量推理的用户。

特色亮点

• 多服务支持: 涵盖 SageMaker HyperPod、ParallelCluster、PCS 与 EKS。
• 框架无关: 包含多种分布式训练与服务引擎的示例。
• 基础设施即代码 (IaC): 提供可立即使用的模板，以实现快速集群部署。
• 健康与性能工具: 内置验证与微基准测试工具，确保集群的稳定性与性能。