OpenDCAI/DataFlex

解決的問題

DataFlex 解決了在 LLM 最佳化過程中管理訓練資料的困難。與使用靜態資料集不同，它允許開發者在訓練過程中動態調整使用哪些樣本、如何混合資料，以及每個樣本對模型學習過程的貢獻權重，這通常能帶來更好的模型效能與實驗可重現性。

工作原理

作為建構於 LLaMA-Factory 之上的動態訓練框架，DataFlex 將多種資料導向的訓練策略整合為一個統一的系統。它提供以下三項核心能力的可重現實作：

• 資料選擇：根據梯度（LESS、NICE）或損失的方法動態選擇訓練樣本，聚焦於「困難」樣本。
• 資料混合：在訓練過程中調整不同領域（例如使用 DOREMI 或 ODM）資料的比例，以優化不同類型資訊之間的平衡。
• 資料重加權：在反向傳播過程中修改樣本權重，以強調模型偏好的特定資料點。

適用對象

希望對訓練資料排程與最佳化擁有更彈性、更強大控制能力的大規模語言模型（LLM）研究人員與開發者。

主要亮點

• LLaMA-Factory 整合：可作為 LLaMA-Factory 的即插即用替代品，保持完全相容性。
• 統一框架：將多個難以重現的研究倉儲整合至一個地方。
• 可擴展性：支援 DeepSpeed ZeRO-3 下的梯度計算，適用於更大規模模型的訓練。
• 資料導向方法：關注訓練迴圈中的資料排程，而不僅僅是預處理。