openml/automlbenchmark

何を解決するか

標準化されたベンチマークスイートの欠如と、問題定義の不一致（たとえば、ハイパーパラメータの探索空間や時間予算）により、研究の再現性が難しく、さまざまな自動機械学習（AutoML）システムの性能を比較することが困難になっています。

動作方法

このプロジェクトは、実験用の標準化された環境を構築するフレームワークを提供します。OpenMLから収集された回帰および分類用のデータセットのカスタマイズされたスイートを含み、さまざまな人気のあるAutoMLシステムをベンチマークするためのコードを提供します。このシステムは拡張可能で、ユーザーが独自のAutoMLフレームワークやデータセットを追加できるようになっています。

対象ユーザー

AutoMLシステムの構築や評価を行う研究者や開発者で、既存のフレームワークと自分のツールを厳密かつ再現可能、標準化された方法で比較したい人。

特徴

• OpenMLから収集された回帰および分類用のカスタマイズされたベンチマークデータセット。
• 複数の人気のあるAutoMLシステムのサポート。
• 新しいフレームワークやデータセットを追加できる拡張可能なアーキテクチャ。
• DockerまたはSingularityコンテナを介した柔軟な実行オプション（ローカルまたはAWSで実行可能）。