tensorflow/lingvo

解决的问题

Lingvo 提供了一个模块化且可扩展的 TensorFlow 框架，用于构建神经网络，特别专注于序列模型（序列到序列建模）。

工作原理

它允许开发者在各种模态上构建和训练模型。该框架支持大规模训练，包括使用 GShard 和 512 路模型并行处理的巨型语言模型（如 GShard），并支持与 CloudTPUs 和 GPU 的集成。它通过参数和任务提供结构化的方式来定义模型，支持通过 pip 安装用于常规使用，也支持通过 Bazel 构建用于框架开发。

适用人群

致力于构建复杂神经网络的研究人员和工程师，特别是从事大规模序列模型、机器翻译和自动语音识别工作的人员。

主要亮点

• 多样化的模型支持：包含机器翻译、自动语音识别、语言建模、3D 对象检测（StarNet、DeepFusion）和图像识别（LeNet5）的实现。
• 可扩展性：利用 GShard 和 512 路模型并行处理，支持高达一万亿参数的巨型语言模型。
• 硬件加速：针对 GPU 和 CloudTPUs 进行优化。
• 灵活的安装方式：可通过 pip 快速启动，也可通过 Bazel 用于框架核心开发。