openml/automlbenchmark

解决的问题

缺乏标准化的基准测试套件以及问题定义不一致（例如超参数搜索空间和时间预算）导致研究难以复现，且难以比较不同自动机器学习（AutoML）系统的性能。

工作原理

该项目提供了一个框架，用于设置标准化的实验环境。它包含来自 OpenML 的回归和分类数据集的精选套件，并提供必要的代码以对多种流行的 AutoML 系统进行基准测试。该系统具有可扩展性，允许用户添加自己的 AutoML 框架和数据集。

适用人群

需要严格、可复现且标准化方式来比较其工具与现有框架的 AutoML 系统的构建或评估研究人员和开发者。

主要亮点

• 来自 OpenML 的回归和分类的精选基准测试数据集。
• 支持多种流行的 AutoML 系统。
• 可扩展的架构，支持添加新框架和数据集。
• 通过 Docker 或 Singularity 容器实现灵活的执行选项，可在本地或 AWS 上运行。