rwth-i6/returnn

解决的问题

RETURNN 提供了一个灵活且高效的框架，用于训练现代的循环神经网络（RNN）架构，特别解决了研究和生产环境中对快速训练和解码速度的需求。

工作原理

基于 PyTorch 和 TensorFlow 构建，该框架在多 GPU 环境中优化了 RNN 的训练。它采用序列分块（sequence-chunking）进行批量训练，并包含一个为长短期记忆（LSTM）网络定制的快速 CUDA 内核，同时支持多维 LSTM。

适用人群

专为从事循环神经网络研究和开发的人员设计，特别是那些在自动语音识别（ASR）和机器翻译（MT）等任务中实现编码器-注意力-解码器模型的研究者和开发者。

主要亮点

• 多 GPU 优化：在多个设备上实现可靠且快速的训练。
• 自定义 CUDA 内核：包含为 LSTM 优化的专用快速 CUDA 内核，以提升性能。
• 灵活的架构：支持多种编码器-注意力-解码器模型。
• 内存管理：内置内存管理机制，可处理大规模数据集。