facebookresearch/optimizers
For optimization algorithm research and development.
解決的問題
提供一系列專為高效率機器學習訓練設計的進階 PyTorch 最佳化演算法，特別聚焦於分散式環境與高效的梯度平均。
工作原理
此程式庫實作了可整合至 PyTorch 工作流程的專用最佳化器。目前包含 Distributed Shampoo，利用預處理（preconditioning）以提升收斂速度；以及 GPA-AdamW（Generalized Primal Averaging），透過訓練與評估模式之間的切換機制，處理不同序列間的梯度計算。
適用對象
需要在 PyTorch 中高效訓練大型模型的機器學習研究人員與開發者。
特色亮點
- 實作了用於優化預處理的 Distributed Shampoo。
- 包含用於廣義原始平均的 GPA-AdamW。
- 專為外部協作與開發設計。
- 完全相容於 PyTorch。
相關
- 專案
- 專案
- 專案
- 專案
- 專案