OpenDCAI/DataFlex

解決する課題

DataFlexは、大規模言語モデル（LLM）におけるデータ中心のトレーニング戦略の再現と実装の難しさを解決します。最適化プロセス中にトレーニングデータを動的に管理するための統一フレームワークを提供し、データ選択、混合、再重み付けのために断片化され、ドキュメントが不十分なリポジトリを手動で統合する必要性を排除します。

仕組み

LLaMA-Factoryの拡張機能として構築されたDataFlexは、LLMのトレーニングループに直接統合され、インテリジェントにデータをスケジュールします。主に3つのデータ中心メカニズムを実装しています。

• データ選択 (Data Selection)：勾配ベース (LESS, NICE)、損失ベース、または分布ベース (NEAR, TSDS) の手法を使用して、トレーニング用の特定のサンプル（例：「ハード」サンプル）を選択します。
• データ混合 (Data Mixture)：DoReMi (オフライン) や ODM (オンライン) などの手法を使用して、トレーニング中に異なるドメインからのデータの比率を動的に調整します。
• データ再重み付け (Data Reweighting)：損失ベースまたはバッチ認識技術を使用して、逆伝播中に個々のサンプルの重みを調整し、優先度の高いデータを強調します。

対象ユーザー

インフラをゼロから構築することなく、高度なデータ中心のトレーニング手法を適用してモデルのパフォーマンスと実験の再現性を向上させたいAI研究者や開発者向けに設計されています。

ハイライト

• LLaMA-Factory統合：LLaMA-Factoryと完全に互換性のあるドロップインリプレースメントとして機能します。
• 統一された実装：複数のデータ中心アルゴリズム (LESS, NICE, DoReMi, ODMなど) を1つのプラットフォームに統合します。
• スケーラビリティ：DeepSpeed ZeRO-3下での勾配計算をサポートし、より大きなモデルのトレーニングに対応します。
• 拡張性：新しいセレクター、ミキサー、またはウェイト計算機を追加するためのレジストリシステムと基本クラスインターフェースが含まれています。