meta-pytorch/data

解決的問題

TorchData 為 PyTorch 提供可擴展且高效能的資料載入解決方案，解決了更好的狀態管理與彈性資料預處理流程的需求。

工作原理

它透過兩個主要元件增強標準的 PyTorch DataLoader 和 Dataset：

• StatefulDataLoader：標準 DataLoader 的即插即用替代品，新增 state_dict 和 load_state_dict 方法，讓使用者能從中斷的 epoch 檔案中儲存與恢復訓練，包含追蹤自訂的迭代進度與隨機數產生器（RNG）狀態。
• torchdata.nodes：一組可組合的迭代器，讓使用者能使用串流程式設計模型，將常見的資料載入與預處理作業串接起來。

適用對象

使用 PyTorch 的機器學習工程師與研究人員，特別是需要處理大型資料集，並確保訓練能精確地從中斷處恢復的人。

主要特色

• 中 epoch 檔案儲存：支援儲存與還原 dataloader 的精確狀態。
• 可組合的迭代器：提供串流模型以串接預處理步驟。
• 即插即用替代品：StatefulDataLoader 可輕鬆整合至現有的 PyTorch 工作流程中。