FluxML/Zygote.jl

解决的问题

Zygote 为 Julia 语言提供自动微分（AD），使开发者能够自动计算复杂函数的梯度。这对于训练机器学习模型和实现可微编程至关重要。

工作原理

它采用“源到源”方法，即通过钩子接入 Julia 编译器，生成函数的反向传播代码，仿佛用户手动编写的一样。它支持 Julia 的动态特性，如控制流、递归、闭包和字典。它还与 ChainRules.jl 规则集集成，允许用户通过 rrule 定义自定义梯度。

适用人群

专为使用 Julia 进行机器学习的研究人员和开发者设计，特别是使用 Flux 框架或需要支持 Julia 语言灵活性的高性能 AD 系统的用户。

主要亮点

• 源到源 AD：为反向传播生成高效代码。
• 动态语言支持：处理递归、闭包和控制流。
• 类似 HDMI 的灵活性：支持对参数嵌套结构进行微分。
• 自定义梯度：通过 ChainRulesCore.jl 定义自定义规则。