Hugging Face Transformers と Ray Tune の統合

Hugging Face Transformers 3.1 は、Ray Tune と統合することで、NLP モデルの高度なハイパーパラメータチューニングを効率的に行う方法を提供します。この統合により、ユーザーは Transformers フレームワークのカスタマイズ性を損なうことなく、最先端のチューニングアルゴリズムにアクセスできるようになります。

高度なチューニングによるパフォーマンスの向上

高度なハイパーパラメータ最適化技術は、単純なグリッドサーチと比較して、精度とリソース効率の両面で大幅に上回ります。RTE データセットで BERT モデルを使用した実験では、Population-based Training (PBT) が他の手法と比較して、最高のテスト精度と最小の総 GPU 時間を達成しました：

Algorithm	Best Val Acc.	Best Test Acc.	Total GPU min	Total $ cost
Grid Search	74%	65.4%	45 min	$2.30
Bayesian Optimization + Early Stop	77%	66.9%	104 min	$5.30
Population-based Training	78%	70.5%	48 min	$2.45

統合の詳細と実装

この統合は、Transformers ライブラリの Trainer クラスを介して利用可能です。hyperparameter_search メソッド内で backend 引数を `