NVIDIA/Megatron-Energon

解决的问题

Megatron Energon 解决了大规模模型训练中加载和管理海量多模态训练数据的挑战。它简化了混合多种数据集并跨大型集群的节点和进程分布数据加载的过程，同时保持可复现性和可恢复性。

工作原理

Energon 作为一个多模态数据加载器，可作为 Megatron-LM 框架的一部分使用，也可作为独立的 Python 包使用。它支持 WebDataset 和 JSONL 格式。用户可以使用命令行工具（energon）准备和校验数据集，以确保其与系统兼容。准备完成后，该库提供 get_train_dataset 和 get_loader 等函数，用于将数据输入训练循环。

适用人群

专为需要可扩展、分布式数据流水线以处理多种类型数据样本和处理流程的大规模多模态模型训练研究人员和工程师设计。

主要亮点

• 集群规模分布：高效地将数据加载任务分布在多个节点和进程中。
• 多模态支持：专为处理多种类型的数据样本而构建。
• 数据集混合：能够混合和融合多个不同的数据集。
• 可靠性：确保训练运行可复现，并可从中断处恢复。