OpenDCAI/DataFlex

解决的问题

DataFlex 解决了在 LLM 优化过程中管理训练数据的困难。与使用静态数据集不同，它允许开发者在训练过程中动态调整使用哪些样本、如何混合数据，以及每个样本对模型学习过程的贡献权重，这通常能带来更好的模型性能和实验可复现性。

工作原理

作为基于 LLaMA-Factory 的动态训练框架，DataFlex 将多种数据驱动的训练策略整合为一个统一的系统。它提供了以下三项核心能力的可复现实现：

• 数据选择：基于梯度（LESS、NICE）或损失的方法动态选择训练样本，聚焦于“困难”样本。
• 数据混合：在训练过程中调整不同领域（例如使用 DOREMI 或 ODM）数据的比例，以优化不同类型信息之间的平衡。
• 数据重加权：在反向传播过程中修改样本权重，以强调模型偏好的特定数据点。

适用人群

希望对训练数据调度和优化拥有更灵活、更强大控制能力的大规模语言模型（LLM）研究人员和开发者。

主要亮点

• LLaMA-Factory 集成：可作为 LLaMA-Factory 的即插即用替代品，保持完全兼容性。
• 统一框架：将多个难以复现的研究仓库整合到一个地方。
• 可扩展性：支持 DeepSpeed ZeRO-3 下的梯度计算，适用于更大规模模型的训练。
• 数据驱动方法：关注训练循环中的数据调度，而不仅仅是预处理。