Hugging Face Transformers 与 Ray Tune 集成

Hugging Face Transformers 3.1 与 Ray Tune 集成，为 NLP 模型提供了一种流线型的先进超参数调优方式。这种集成允许用户在不牺牲 Transformers 框架可定制性的情况下，访问最先进的调优算法。

来自先进调优的性能提升

先进的超参数优化技术在准确率和资源效率方面都显著优于简单的网格搜索。在 RTE 数据集上使用 BERT 模型进行的一项实验中，与其它方法相比，基于种群的训练 (Population-based Training, PBT) 实现了最高的测试准确率和最低的总 GPU 时间：

Algorithm	Best Val Acc.	Best Test Acc.	Total GPU min	Total $ cost
Grid Search	74%	65.4%	45 min	$2.30
Bayesian Optimization + Early Stop	77%	66.9%	104 min	$5.30
Population-based Training	78%	70.5%	48 min	$2.45

集成细节与实现

该集成可以通过 Transformers 库中的 Trainer 类进行访问。通过在 hyperparameter_search 方法中将 backend 参数设置为 `