kozistr/pytorch_optimizer

解决的问题

它为 PyTorch 用户提供了一个统一、生产就绪的工具包，使用户能够尝试大量现代优化算法、学习率调度器和损失函数，而无需编写重复的样板代码或手动集成多个研究仓库。

工作原理

该库提供了一致的 API 来加载和创建优化器、调度器和损失函数。用户可以通过直接调用类、使用 load_optimizer 函数，或通过支持梯度中心化和 Lookahead 等高级功能的 create_optimizer 辅助函数来实例化优化器。它还支持 PyTorch 的 torch.compile 来融合优化器更新以获得更好的性能，并为 Lion 和 Tiger 等特定优化器提供了专用的编译路径。

适用人群

使用 PyTorch 的机器学习工程师和研究人员，他们需要快速试验各种训练方法，并希望以标准化的方式将高级优化器集成到他们的训练流程中。

亮点

• 100+ 优化器、10+ 学习率调度器和 10+ 损失函数。
• 支持 torch.compile 自动融合优化器更新。
• 与 bitsandbytes、q-galore-torch 和 torchao 等生态系统工具集成。
• 一致的加载器 API，便于在不同优化策略之间轻松切换。