facebookresearch/optimizers
For optimization algorithm research and development.
解决的问题
提供一系列专为高性能机器学习训练设计的高级 PyTorch 优化算法，特别聚焦于分布式环境和高效的梯度平均。
工作原理
该仓库实现了可集成到 PyTorch 工作流中的专用优化器。目前包含 Distributed Shampoo，其使用预处理（preconditioning）来提升收敛性；以及 GPA-AdamW（Generalized Primal Averaging），通过在训练和评估模式之间切换机制，处理不同序列间的梯度计算。
适用人群
需要在 PyTorch 中高效训练大规模模型的机器学习研究人员和开发者。
特色亮点
- 实现了用于优化预处理的 Distributed Shampoo。
- 包含用于广义原始平均的 GPA-AdamW。
- 专为外部协作与开发设计。
- 与 PyTorch 完全兼容。
相关
- 项目
- 项目
- 项目
- 项目
- 项目