optuna/optuna

解决的问题

Optuna 自动化了机器学习中的超参数优化过程。它消除了为模型找到最佳设置（超参数）以实现最佳性能的手动试错过程。

工作原理

Optuna 使用“define-by-run”API，允许用户使用标准 Python 语法（包括循环和条件语句）动态构建搜索空间。它将优化组织为“研究”（总体目标）和“试验”（目标函数的单独执行）。该框架采用最先进的采样算法来建议超参数，并使用剪枝技术提前停止无望的试验。

适用人群

它专为需要跨各种平台和规模高效优化模型性能的机器学习从业者和研究人员设计。

亮点

• Python 式搜索空间：使用熟悉的 Python 代码而非静态配置定义超参数。
• 高效算法：包含先进的采样和剪枝技术，以加速最优参数的搜索。
• 易于并行化：只需少量代码更改即可扩展到数百个工作进程。
• 可视化工具：提供绘图函数和专用的实时 Web 仪表板，用于监控优化历史。
• Rustuna：一个基于 Rust 的实验性实现，用于显著更快的采样和更好的内存效率。