google-deepmind/optax

解决的问题

Optax 是一个为 JAX 设计的梯度处理和优化库。它通过提供一系列小型、可组合的构建模块，帮助简化优化器的实现与实验过程，这些模块可以重新组合以创建自定义的优化解决方案。

工作原理

Optax 提供了流行的优化器（如 Adam）和损失函数（如 L2 损失）的实现。它采用函数式方法：通过模型参数初始化优化器以创建优化状态。随后，通过 JAX 计算梯度，经过优化器的更新函数处理生成更新量，最后使用 apply_updates 等实用函数将更新应用到参数上。

适用人群

本库专为使用 JAX 的研究人员和开发者设计，适用于需要高效、经过充分测试的核心优化组件实现，或希望构建自定义优化器的用户。

主要亮点

• 可组合设计：专注于小型构建模块，可轻松组合成自定义优化器。
• JAX 集成：专为 JAX 生态系统设计，便于梯度处理。
• 丰富的库：包含大量流行的优化器和损失函数。
• 可读性优先：优先考虑代码结构与标准数学公式的一致性，而非代码复用。