keras-tcn: 一个用于 Keras 的 Temporal Convolutional Network 层，用于在序列建模中替代 LSTMs 和 GRUs

它解决了什么问题

Keras TCN 为 Keras 提供了一个 Temporal Convolutional Network (TCN) 层，旨在处理序列建模任务。它是 LSTM 或 GRU 等循环架构的替代方案，这些架构通常在长期记忆、梯度消失和顺序处理瓶颈方面面临挑战。

工作原理

该项目实现了一个使用堆叠扩张因果卷积层 (dilated causal convolutional layers) 的 TCN 层。这种架构允许模型拥有灵活且巨大的感受野 (receptive field)（即模型可以查看的历史量），而无需过多的层数。

关键技术组件包括：

• Causal Padding: 确保模型无法“看到”未来，使其适用于实时应用。
• Dilated Convolutions: 随着深度的增加，感受野呈指数级增长，允许网络捕获时间序列数据中的长期依赖关系。
• Residual Blocks: 使用跳跃连接 (skip connections) 来帮助梯度在训练期间更有效地流动。
• Non-Causal Option: 支持 padding='same' 或 'valid'，适用于未来信息可用并可用于预测的任务。

适用人群

使用 Keras/TensorFlow 的数据科学家和 ML 工程师，他们需要对长序列或顺序数据（如 NLP 任务或波形分析）进行建模，并且希望通过并行化获得比 LSTMs 更好的性能或更快的训练速度。

亮点

• 更长的记忆力: 与具有相同容量的循环网络相比，表现出更长的记忆力。
• 并行性: 利用卷积层实现比顺序 RNNs 更快的处理速度。
• 稳定的梯度: 避免了在通过时间反向传播 (backpropagation through time) 中常见的梯度消失问题。
• 灵活的配置: 对于过滤器 (filters)、卷积核大小 (kernel size)、扩张率 (dilations) 和归一化 (Batch 或 Layer Norm) 具有高度可定制的参数。
• 广泛的兼容性: 已在多个 TensorFlow 版本（2.9 到 2.19）中进行了测试。