alibaba/clusterdata

解決する課題

このプロジェクトは、Alibabaの大規模データセンターからの実世界の本番データを研究者や学生に提供します。現代のインターネットデータセンターがどのように運用されているか、特にオンラインサービスとバッチワークロードが同じハードウェア上でどのように管理され共存しているかを理解するという課題を解決するのに役立ちます。

仕組み

このプログラムは、Alibabaの本番クラスタから取得した匿名化されたデータセット（トレース）を公開します。これらのトレースには、CPUパフォーマンス、メモリ使用量、マイクロサービス依存関係、GPU利用率、ジョブスケジューリング情報などの詳細なメトリクスが含まれます。研究者はこれらのデータセットをダウンロードして、本番環境をシミュレートしたり、新しいスケジューリングアルゴリズムをテストしたり、ワークロード特性を分析してリソース効率を向上させることができます。

対象者

クラウドコンピューティング、分散システム、データセンター管理の分野の研究者、学生、実務者を対象としており、アイデア、シミュレーション、学術論文を検証するための現実的で大規模な本番データを必要としています。

ハイライト

• GPU固有およびマイクロサービスに焦点を当てたデータセットを含む、過去および最近のクラスタトレースの複数のバージョンを提供します。
• さまざまなデータ型の詳細なドキュメント、スキーマ、処理スクリプトが含まれています。
• ワークロード特性、リソース競合、スケジューリングアルゴリズムなどの複雑なトピックの研究をサポートします。
• AI/MLワークロード、サーバーレスコンピューティング、GenAIサービスシステムなどの現代のインフラストラクチャの研究を促進します。