OpenDCAI/DataFlex

해결하는 문제

DataFlex는 LLM 최적화 과정에서 학습 데이터를 관리하는 어려움을 해결합니다. 고정된 데이터셋을 사용하는 대신 개발자들이 학습 중 어떤 샘플을 사용할지, 어떻게 혼합할지, 그리고 모델 학습에 얼마나 많은 가중치를 부여할지를 동적으로 조정할 수 있게 해주며, 이는 종종 더 나은 모델 성능과 실험 재현성을 가져옵니다.

작동 방식

LLaMA-Factory 위에 구축된 동적 학습 프레임워크로서, DataFlex는 여러 데이터 중심 학습 전략을 통합한 일원화된 시스템입니다. 다음 세 가지 핵심 기능의 재현 가능한 구현을 제공합니다:

• 데이터 선택: 그라디언트 기반(LESS, NICE) 또는 손실 기반 방법을 기반으로 동적으로 학습 샘플을 선택하여 '어려운' 샘플에 집중합니다.
• 데이터 혼합: 다양한 도메인(예: DOREMI 또는 ODM 사용)의 데이터 비율을 학습 중에 조정하여 다양한 정보 유형 간의 균형을 최적화합니다.
• 데이터 재가중: 역전파 중 샘플의 가중치를 수정하여 모델이 선호하는 특정 데이터 포인트에 초점을 맞춥니다.

대상 사용자

학습 데이터 스케줄링과 최적화에 대해 더 유연하고 강력한 제어를 원하는 대규모 언어 모델(LLM)을 훈련하는 연구자 및 개발자.

주요 특징

• LLaMA-Factory 통합: LLaMA-Factory의 즉시 대체 가능한 대체품으로 작동하며, 완전한 호환성을 유지합니다.
• 통합 프레임워크: 재현이 어려운 여러 연구 리포지토리를 하나의 장소로 통합합니다.
• 확장성: DeepSpeed ZeRO-3 하에서 그래디언트 계산을 지원하여 더 대규모 모델의 훈련이 가능합니다.
• 데이터 중심 접근법: 단순한 전처리가 아니라 훈련 루프 중 데이터 스케줄링에 초점을 맞춥니다.