LuxDL/Lux.jl

Elegant and Performant Deep Learning

What it solves

Lux.jl 提供了一种高效且优雅的方式，在 Julia 语言中构建与训练深度神经网络，将 Julia 的高级表达力与 XLA（Accelerated Linear Algebra）的性能结合起来。

How it works

Lux 采用显式参数化的深度学习方法。与某些框架不同，它将模型架构（层）与参数和状态分离，使操作更容易，也更好地与 Julia 生态系统集成。它支持多种自动微分和优化后端，包括 Zygote 与 Enzyme，并且可以部署在各种设备上，如 CPU、GPU（通过 LuxCUDA）以及其他加速器。

Who it’s for

此框架面向希望在 JuliaLang 生态系统中使用深度学习能力的研究人员和开发者，尤其是那些寻求高性能、兼容 XLA 的框架来构建复杂神经网络的用户。

Highlights

  • Explicit Parameterization: Separates model structure from weights and state.
  • XLA Performance: Ability to leverage XLA for high-performance execution.
  • XLA-compatible backends: Supports Reactant.jl and Enzyme for optimized gradients.
  • Device Agnostic: Works across different hardware accelerators including CUDA GPUs.
  • Integrated Training API: Includes a TrainState API to automate training steps and gradient application.