awslabs/awsome-distributed-ai

解決する課題

本プロジェクトは、AWSインフラストラクチャ上での分散型AIトレーニングおよび推論のデプロイと運用を簡素化するための、包括的なリファレンスアーキテクチャと実行可能なサンプルを提供します。高性能GPUクラスターの構築、ネットワーク最適化（EFAなど）の設定、およびさまざまなAWSサービス間での分散トレーニングフレームワークの実装に伴う複雑な課題を解決します。

仕組み

リポジトリは以下の機能モジュールで構成されています：

• Architectures: SageMaker HyperPod、AWS ParallelCluster、AWS PCS、Amazon EKSを使用したクラスター用のデプロイ可能なテンプレート（CloudFormation、Terraform）。
• Examples: トレーニング（PyTorch DDP/FSDP、Megatron-LM、NeMoを使用）および推論（vLLM、SGLang、NVIDIA Dynamoを使用）向けのフレームワーク中心のガイド、およびユースケース別のエンドツーエンドデモ。
• Custom AMIs: PackerとAnsibleを使用して最適化されたマシンイメージを構築するためのスクリプト。
• Validation & Observability: GPUクラスターの健全性チェック、PyTorch環境の検証、およびPrometheusとGrafanaによるネットワークパフォーマンス監視のためのツール。
• Micro-benchmarks: NCCL、NCCOM、NVSHMEMを使用して通信パフォーマンスを評価するためのツール。

対象読者

AWS上の複数のGPUおよび複数のノードにAIワークロードをスケーリングする必要がある機械学習エンジニアやインフラアーキテクト、特に大規模モデルのトレーニングや高スループットな推論に取り組む方を対象としています。

ハイライト

• マルチサービスサポート: SageMaker HyperPod、ParallelCluster、PCS、EKSをカバー。
• フレームワーク非依存: 幅広い分散トレーニングおよびサービングエンジン向けのサンプルを収録。
• Infrastructure as Code: クラスターの迅速なデプロイを可能にする即戦力テンプレートを提供。
• 健全性・パフォーマンスツール: クラスターの安定性とパフォーマンスを確保するための検証およびマイクロベンチマークツールを内蔵。