awslabs/awsome-distributed-ai
Collection of best practices, reference architectures, model training examples and utilities to train large models on AWS.
What it solves
本项目提供了一套全面的参考架构和测试用例，旨在简化 AWS 上分布式机器学习训练的部署和优化。它帮助用户避免手动配置大规模模型所需的高性能计算集群、网络和编排的复杂性。
How it works
该仓库中有序地组织了几个功能模块：
- Architectures: 提供 CloudFormation 模板，用于部署使用 SageMaker HyperPod, AWS ParallelCluster, AWS Batch, 和 Amazon EKS 的计算环境。
- Custom Images: 使用 Packer 和 Ansible 创建优化的 Amazon Machine Images (AMIs) 和容器。
- Tokenization/Preprocessing-based modules: (Note: The user provided text doesn'pty actually contain this module, but I will follow the template structure if I'm translating the provided text only. Let's re-read thes. The user provided text has