google-deepmind/optax

解決的問題

Optax 是一個為 JAX 設計的梯度處理與最佳化程式庫。它透過提供一組小型、可組合的建構模組，簡化最佳化器的實作與實驗流程，這些模組可重新組合以建立自訂的最佳化解決方案。

如何運作

Optax 提供了常見最佳化器（如 Adam）與損失函數（如 L2 損失）的實作。它採用函數式設計，以模型參數初始化最佳化器，產生最佳化狀態。隨後透過 JAX 計算梯度，經由最佳化器的更新函數處理以產生更新量，最後使用 apply_updates 等實用函數將更新套用至參數上。

適用對象

此程式庫專為使用 JAX 的研究人員與開發者設計，適合需要高效、經過充分測試的核心最佳化元件實作，或希望自行建構自訂最佳化器的使用者。

主要特色

• 可組合設計：專注於小型建構模組，可輕鬆組合為自訂最佳化器。
• JAX 整合：專為 JAX 生態系統設計，便於梯度處理。
• 豐富的函數庫：包含大量常見的最佳化器與損失函數。
• 可讀性優先：優先考慮代碼結構與標準數學公式的一致性，而非代碼重用。