optuna/optuna

解決的問題

Optuna 是專為機器學習設計的自動超參數最佳化（HPO）框架。它自動化為模型尋找最佳超參數組合的過程，消除手動試誤調參以提升模型效能的繁瑣工作。

工作原理

Optuna 使用「define-by-run」API，允許使用者使用標準 Python 語法（如迴圈和條件式）動態建構搜尋空間。該框架將最佳化過程組織為「研究」（整體最佳化任務）和「試驗」（目標函數的單次執行）。它採用先進的取樣演算法來建議新的超參數，並使用剪枝技術提前終止表現不佳的試驗，以節省計算資源。

適用對象

適用於需要在各種平台和規模下高效調校模型超參數的機器學習實務者與研究人員。

主要亮點

• Python 風格的搜尋空間：使用熟悉的 Python 程式碼定義超參數，支援複雜且條件式的搜尋空間。
• 高效的最佳化：採用先進的取樣與剪枝演算法，確保更快地收斂至最佳參數。
• 易於平行化：僅需少量程式碼修改，即可將最佳化研究擴展到數十甚至數百個工作節點。
• 整合式視覺化：提供繪圖函數與專用的即時 Web 仪表板，用於檢視最佳化歷程與參數重要性。
• 基於 Rust 的實作：提供實驗性的 Rust 版本（Rustuna），以提升取樣速度與記憶體效率。