NVIDIA/Megatron-Energon

解決的問題

Megatron Energon 解決了大規模模型訓練中加載與管理龐大多模態訓練資料的挑戰。它簡化了混合多種資料集並跨大型叢集的節點與程序分散資料加載的過程，同時保持可重現性與可恢復性。

工作原理

Energon 作為一個多模態資料加載器，可作為 Megatron-LM 框架的一部分使用，也可作為獨立的 Python 套件使用。它支援 WebDataset 與 JSONL 格式。使用者可使用命令列工具（energon）準備與校驗資料集，以確保其與系統相容。準備完成後，該程式庫提供 get_train_dataset 與 get_loader 等函數，用於將資料輸入訓練迴圈。

適用對象

專為需要可擴展、分散式資料流程以處理多種類型資料樣本與處理流程的大規模多模態模型訓練研究人員與工程師設計。

主要亮點

• 叢集規模分佈：高效地將資料加載工作分布在多個節點與程序中。
• 多模態支援：專為處理多種類型的資料樣本而建構。
• 資料集混合：能夠混合與融合多個不同的資料集。
• 可靠性：確保訓練執行可重現，並可從中斷處恢復。