alibaba/clusterdata

해결하는 문제

이 프로젝트는 연구자와 학생에게 Alibaba의 대규모 데이터 센터에서 얻은 실제 프로덕션 데이터를 제공합니다. 현대 인터넷 데이터 센터가 어떻게 운영되는지, 특히 온라인 서비스와 배치 워크로드가 동일한 하드웨어에서 어떻게 관리되고 공존하는지 이해하는 데 도움이 됩니다.

작동 방식

이 프로그램은 Alibaba의 프로덕션 클러스터에서 캡처한 익명화된 데이터셋(트레이스)을 공개합니다. 이러한 트레이스에는 CPU 성능, 메모리 사용량, 마이크로서비스 종속성, GPU 활용도 및 작업 스케줄링 정보와 같은 상세한 지표가 포함됩니다. 연구자는 이러한 데이터셋을 다운로드하여 프로덕션 환경을 시뮬레이션하고, 새로운 스케줄링 알고리즘을 테스트하거나, 워크로드 특성을 분석하여 리소스 효율성을 개선할 수 있습니다.

대상 사용자

클라우드 컴퓨팅, 분산 시스템 및 데이터 센터 관리 분야의 연구자, 학생 및 실무자를 위해 설계되었으며, 아이디어, 시뮬레이션 및 학술 논문을 검증하기 위해 현실적이고 대규모의 프로덕션 데이터가 필요합니다.

주요 특징

• GPU 특화 및 마이크로서비스 중심 데이터셋을 포함한 과거 및 최근 클러스터 트레이스의 여러 버전을 제공합니다.
• 다양한 데이터 유형에 대한 상세한 문서, 스키마 및 처리 스크립트가 포함되어 있습니다.
• 워크로드 특성화, 리소스 경합 및 스케줄링 알고리즘과 같은 복잡한 주제에 대한 연구를 지원합니다.
• AI/ML 워크로드, 서버리스 컴퓨팅 및 GenAI 서빙 시스템을 포함한 현대 인프라 연구를 촉진합니다.