openml/automlbenchmark

解決的問題

缺乏標準化的基準測試套件以及問題定義不一致（例如超參數搜尋空間和時間預算）導致研究難以重現，且難以比較不同自動機器學習（AutoML）系統的效能。

運作方式

本專案提供一個框架，用於建立標準化的實驗環境。它包含來自 OpenML 的回歸與分類資料集的精選套件，並提供必要的程式碼，以對多種流行的 AutoML 系統進行基準測試。此系統具備可擴充性，允許使用者新增自己的 AutoML 框架與資料集。

適用對象

需要嚴謹、可重現且標準化方式來比較其工具與現有框架的 AutoML 系統建構或評估的研究人員與開發者。

主要亮點

• 來自 OpenML 的回歸與分類精選基準測試資料集。
• 支援多種流行的 AutoML 系統。
• 可擴充的架構，支援新增框架與資料集。
• 透過 Docker 或 Singularity 容器提供彈性執行選項，可在本機或 AWS 上執行。