autograd: 一個用於原生 Python 和 NumPy 代碼的自動微分庫

它解決了什麼問題

Autograd 簡化了計算數學函數梯度的過程，消除了手動推導和編寫函數導數代碼的需求。這主要用於機器學習和科學計算中的基於梯度的優化。

它是如何運作的

它在 NumPy 之上提供了一個薄薄的封裝，使其能夠自動對原生 Python 和 NumPy 代碼進行微分。它支持反向模式微分（backpropagation）以實現高效的純量值函數的計算，也支持前向模式微分，後者可以任意組合以計算高階導數（導數的導數）。

對象是誰

從事基於梯度的優化、神經網絡和科學模擬的研究人員和開發人員，他們希望在無需手動推導的情況下計算 Python/NumPy 代碼的導數。

重點特性

• 原生 Python 支持：處理循環、if 語句、遞歸和閉包。
• 高階導數：能夠計算任何階數的導數。
• 靈活的模式：支持前向和反向模式微分。
• 廣泛的應用：用於構建神經網絡（CNNs, RNNs, LSTMs）和在流體模擬中進行反向傳播。