rodrigo-arenas/Sklearn-genetic-opt
Hyperparameter optimization and feature selection for scikit-learn using evolutionary algorithms. A modern alternative to GridSearchCV and RandomizedSearchCV.
何を解決するか
GridSearchCV と RandomizedSearchCV に対するより知的な代替手段を提供します。多くのハイパーパラメータを探索すると「組み合わせ的爆発」が発生し、処理が極めて遅くなる問題に対処し、単一パラメータごとの探索では見落とされがちな最適なパラメータの相互作用(例:学習率と推定器数の連携関係)を捉えることができます。
動作方法
このツールキットは、パラメータ設定の集団を進化させる遺伝的アルゴリズムを使用します。固定グリッドやランダムな点をチェックするのではなく、完全な設定を評価し、交差と突然変異の適応的スケジュールを用いて探索から活用へとシフトします。GASearchCV はハイパーパラメータチューニング用、GAFeatureSelectionCV はラッパー型特徴選択用に設計されており、いずれも標準的な scikit-learn API と互換性があり、簡単に置き換え可能です。
対象ユーザー
訓練コストが高いモデルを扱う機械学習実務者、5つ以上の相互作用するハイパーパラメータを持つ探索空間(例:勾配ブースティングやSVM)を持つユーザー、または特徴選択とチューニングを再現可能なワークフローで組み合わせたいユーザーに最適です。
特徴
- scikit-learn互換性:
GridSearchCVと同様のfit/predictインターフェースを採用し、簡単に統合可能。 - 混合探索空間: 整数、連続値(一様または対数一様)、カテゴリカル型を同時にサポート。
- スマート初期化: ラテン超立方体の初期化とウォームスタート設定により、初期集団の品質を向上。
- 早期停止:
ConsecutiveStoppingやTimerStoppingなどのコールバックにより、収束時や時間制限に達した時点で探索を終了。 - 実験追跡: 内蔵の MLflow 統合とフィットネス曲線、パラメータ相互作用の可視化ツールを提供。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト