openml/automlbenchmark

해결하는 문제

표준화된 벤치마킹 세트의 부족과 문제 정의의 일관성 부족(예: 하이퍼파라미터 탐색 공간 및 시간 예산)으로 인해 연구의 재현이 어렵고, 다양한 자동 기계학습(AutoML) 시스템 간 성능을 비교하기가 어렵습니다.

작동 방식

이 프로젝트는 실험을 위한 표준화된 환경을 설정하는 프레임워크를 제공합니다. OpenML에서 수집한 회귀 및 분류용 데이터셋 컬렉션을 포함하며, 다양한 인기 있는 AutoML 시스템을 벤치마킹하기 위한 코드를 제공합니다. 시스템은 확장 가능하여 사용자가 자신의 AutoML 프레임워크와 데이터셋을 추가할 수 있습니다.

대상 사용자

AutoML 시스템을 개발하거나 평가하는 연구자 및 개발자로, 기존 프레임워크와 자신의 도구를 엄격하고 재현 가능하며 표준화된 방식으로 비교하고자 하는 사람들을 대상으로 합니다.

주요 특징

• OpenML에서 수집한 회귀 및 분류용 커리레이티드 벤치마킹 데이터셋.
• 여러 인기 있는 AutoML 시스템 지원.
• 새로운 프레임워크와 데이터셋을 추가할 수 있는 확장 가능한 아키텍처.
• Docker 또는 Singularity 컨테이너를 통해 로컬 또는 AWS에서 유연하게 실행 가능.