syne-tune/syne-tune

解决的问题

Syne Tune 解决了机器学习模型的大规模超参数优化（HPO）挑战。它提供了一个框架，能够高效地找到使模型性能最大化的最佳设置（超参数），支持在本地机器或 SLURM 集群上进行分布式执行，以处理计算成本高昂的调优任务。

工作原理

该库通过定义超参数的搜索空间，并使用调度器建议要评估的配置来工作。它支持两种主要交互模式：

• 基于启动的调优：库管理训练脚本作为独立进程执行，并通过 Reporter 对象将指标报告回调优器。
• Ask/Tell 接口：用户可以直接与调度器通信以获取配置（ask）并提供结果（tell），这在 Jupyter Notebook 或自定义训练循环等环境中非常有用。

它实现了最先进的 HPO 方法，包括多保真度优化、多目标优化、迁移学习和基于种群的训练。

适用人群

需要对复杂模型（包括使用 Hugging Face 转换器或与 Optuna 等工具集成）进行大规模、可复现的超参数调优的机器学习工程师和研究人员。

主要亮点

• 分布式执行：支持在本地或 SLURM 集群上运行实验。
• 多样化的 HPO 方法：支持多保真度、多目标和基于种群的训练。
• 仿真工具：包含一组黑箱（代理和表格型基准）用于高效 HPO 仿真。
• 灵活集成：提供 Ask/Tell 接口和通过 OptunaHub 的 Optuna 采样器。