alibaba/clusterdata

解决的问题

该项目为研究人员和学生提供来自阿里巴巴大规模数据中心的真实生产数据。它有助于解决理解现代互联网数据中心如何运作的挑战，特别是关于在线服务和批处理工作负载如何在同一硬件上管理和共置的问题。

工作原理

该项目发布从阿里巴巴生产集群捕获的匿名数据集（追踪数据）。这些追踪数据包括详细的指标，如CPU性能、内存使用、微服务依赖、GPU利用率和作业调度信息。研究人员可以下载这些数据集来模拟生产环境、测试新的调度算法或分析工作负载特征以提高资源效率。

适用对象

该项目面向云计算、分布式系统和数据中心管理领域的研究人员、学生和实践者，他们需要真实的大规模生产数据来验证他们的想法、模拟和学术论文。

亮点

• 提供多个版本的历史和近期集群追踪数据，包括针对GPU和微服务的数据集。
• 包含各种数据类型的详细文档、模式和处理脚本。
• 支持对工作负载特征、资源争用和调度算法等复杂主题的研究。
• 促进对现代基础设施的研究，包括AI/ML工作负载、无服务器计算和GenAI服务系统。