rwth-i6/returnn

解決的問題

RETURNN 提供了一個彈性且高效的框架，用於訓練現代的循環神經網絡（RNN）架構，特別解決了研究與生產環境中對快速訓練與解碼速度的需求。

工作原理

基於 PyTorch 與 TensorFlow 建構，此框架在多 GPU 環境中優化 RNN 的訓練。它採用序列分塊（sequence-chunking）進行批次訓練，並包含為長短期記憶（LSTM）網路量身打造的快速 CUDA 內核，同時支援多維 LSTM。

適用對象

專為從事循環神經網絡研究與開發的使用者設計，特別是那些在自動語音辨識（ASR）與機器翻譯（MT）等任務中實作編碼器-注意力-解碼器模型的研究人員與開發者。

主要亮點

• 多 GPU 優化：在多個裝置上實現可靠且快速的訓練。
• 自訂 CUDA 內核：包含為 LSTM 優化的專用快速 CUDA 內核，以提升效能。
• 彈性架構：支援多種編碼器-注意力-解碼器模型。
• 記憶體管理：內建記憶體管理機制，可處理大型資料集。