sonnet: a composable neural network abstraction library for TensorFlow 2

What it solves

Sonnet 是一个用于机器学习研究的库，旨在简化神经网络的构建。它提供了一套可组合的抽象，允许研究人员在无需被迫使用特定的训练框架或带有主观偏好的工作流的情况下构建复杂的模型。

How it works

该库构建在 TensorFlow 2 之上，并围绕 snt.Module 概念展开。模块（Modules）是自包含、解耦的单元，可以持有参数、其他模块以及处理输入的各种方法。用户可以使用预定义的模块，如 snt.Linear 或 snt.nets.MLP，或者通过继承 snt.Module 来创建自己的模块。

Who it’s for

它专为需要对模型和训练过程进行高度控制的机器学习研究人员设计，特别是那些在 TensorFlow 生态系统中工作的人员。

Highlights

• Unopinionated Design: 不包含训练框架，将训练循环的设计和优化器的选择留给用户。
• Composable Abstractions: 使用 snt.Module 系统，允许网络组件进行轻松的嵌套。
• Flexible Serialization: 支持 Python 的 pickle、用于保存训练进度的 TensorFlow Checkpointing，以及用于导出与 Python 源代码解耦的模型 的 TensorFlow Saved Model。
• Distributed Training Support: 通过自定义 TensorFlow 分布式策略提供分布式训练工具，同时保持用户对梯度平均和批归一化（batch normalization）统计数据的控制。