权重归一化：加速深度神经网络训练
TL;DR
权重归一化是对神经网络权重向量的重新参数化，它将它们的长度与方向解耦。此技术改善了优化问题的条件，加速了随机梯度下降（SGD）的收敛，同时避免了批量归一化固有的小批量依赖。
核心机制：权重重新参数化
权重归一化通过将权重向量的大小与方向分离来加速训练。通过解耦这两个组件，优化过程变得更高效，改善了优化问题的条件，并允许在训练过程中实现更快的收敛。
相比批量归一化的优势
虽然受到批量归一化的启发，但权重归一化提供了几种不同的技术优势：
- 无小批量依赖： 与批量归一化不同，权重归一化不会在小批量内的样本之间引入依赖。这使其成为特定架构的更稳定和灵活的替代方案。
- 较低的计算开销： 该方法实现更简单，所需的计算能力更少，从而在相同的时间框架内可以执行更多的优化步骤。
- 广泛适用性： 由于它不存在小批量依赖，权重归一化可以成功应用于批量归一化不太适用的模型和应用，包括：
- 如长短期记忆（LSTM）网络的循环模型。
- 对噪声敏感的应用，如生成模型。
- 深度强化学习。
已证明的应用
OpenAI 在机器学习的三个主要领域展示了权重归一化的有效性：
- 监督图像识别： 提高标准分类任务训练的速度和稳定性。
- 生成建模： 增强创建新数据样本的模型的稳定性。
- 深度强化学习： 加速在复杂环境中智能体的训练。