OpenDCAI/DataFlex

它解决了什么问题

DataFlex 解决了大型语言模型 (LLM) 中数据中心训练策略难以重现和实现的问题。它提供了一个统一的框架，在优化过程中动态管理训练数据，无需再手动整合碎片化且通常缺乏文档的数据选择、混合和重新加权存储库。

它是如何运作的

作为 LLaMA-Factory 的扩展，DataFlex 直接集成到 LLM 训练循环中以智能调度数据。它实现了三种主要的数据中心机制：

• 数据选择 (Data Selection)：使用基于梯度 (LESS, NICE)、基于损失或基于分布 (NEAR, TSDS) 的方法来挑选特定的样本（例如“困难”样本）进行训练。
• 数据混合 (Data Mixture)：在训练过程中，使用 DoReMi (离线) 或 ODM (在线) 等方法动态调整来自不同领域的数据比例。
• 数据重新加权 (Data Reweighting)：在反向传播过程中调整单个样本的权重，以使用基于损失或批次感知技术来强调首选数据。

适用对象

它专为希望通过应用先进的数据中心训练技术来提高模型性能和实验可重现性，且无需从零开始构建基础设施的 AI 研究人员和开发人员而设计。

特点

• LLaMA-Factory 集成：作为直接替换组件，与 LLaMA-Factory 完全兼容。
• 统一实现：将多种数据中心算法 (LESS, NICE, DoReMi, ODM 等) 整合到一个平台中。
• 可扩展性：支持在 DeepSpeed ZeRO-3 下进行梯度计算，用于训练更大的模型。
• 可扩展性 (Extensible)：包含一个注册系统和基类接口，用于添加新的选择器、混合器或加权器。