tensorflow/probability

Probabilistic reasoning and statistical analysis in TensorFlow

What it solves

它提供了一个概率推理与统计分析的框架，允许开发者将概率方法与深度学习网络整合。通过利用硬件加速（GPUs）和分布式计算，它解决了在大规模场景下进行复杂统计计算与推理的挑战。

How it works

该库被组织为分层架构：

  • Layer 0 (Numerical Operations): 利用 TensorFlow 的数值计算操作，特别是 LinearOperator 类用于高效的无矩阵实现。
  • Layer 1 (Statistical Building Blocks): 提供大量的概率分布（tfp.distributions）以及称为 Bijectors 的随机变量可逆转换（tfp.bijectors）。
  • Layer 2 (Model Building): 能够创建相互依赖变量的联合分布与包含不确定性的概率神经网络层。
  • Layer 3 (Probabilistic Inference): 实现了一系列用于近似积分的算法，包括用于采样的 Markov chain Monte Carlo (MCMC)、用于优化的 Variational Inference (VI)，以及专门的随机优化器。

此外，该库在与 JAX 使用时，可以作为 "Tensor-friendly Probability" 运行。

Who it’s for

它是为需要 TensorFlow 或 JAX 的可扩展性，且从事概率机器学习、贝叶斯神经网络与复杂统计建模的研究人员与开发者所设计的。

Highlights

  • Hardware Acceleration: 支持 GPUs 和分布式计算，适用于大规模模型。
  • Flexible Substrates: 同时支持 TensorFlow 和 JAX。
  • Comprehensive Toolset: 包含从基础分布到高级 MCMC 和 Variational Inference 算法的完整工具集。
  • Uncertainty Integration: 提供概率层以在标准神经网络函数中添加不确定性。