autograd：用于原生 Python 和 NumPy 代码的自动微分库

它解决了什么问题

Autograd 简化了数学函数梯度的计算过程，免去了手动推导和编写函数导数的需求。这主要用于机器学习和科学计算中的基于梯度的优化。

工作原理

它在 NumPy 之上提供了一个轻量包装，使其能够自动微分原生 Python 和 NumPy 代码。它支持反向模式微分（反向传播），适用于高效的标量值函数；也支持前向模式微分，可任意组合以计算高阶导数（导数的导数）。

适用人群

从事基于梯度的优化、神经网络以及科学仿真的研究人员和开发者，想要在不手动推导的情况下计算 Python/NumPy 代码的导数。

亮点

• 原生 Python 支持：能够处理循环、条件语句、递归和闭包。
• 高阶导数：能够计算任意阶的导数。
• 灵活模式：同时支持前向模式和反向模式微分。
• 广泛应用：用于构建神经网络（CNN、RNN、LSTM）以及在流体仿真中进行反向传播。