OpenDCAI/DataFlex

해결하는 문제

DataFlex는 대규모 언어 모델(LLM)을 위한 데이터 중심 학습 전략을 재현하고 구현하는 데 따르는 어려움을 해결합니다. 최적화 과정 중에 학습 데이터를 동적으로 관리할 수 있는 통합 프레임워크를 제공하여, 데이터 선택, 혼합 및 재가중치 부여를 위해 파편화되고 문서화가 부족한 저장소를 수동으로 통합할 필요를 없애줍니다.

작동 방식

LLaMA-Factory의 확장으로 구축된 DataFlex는 LLM 학습 루프에 직접 통합되어 데이터를 지능적으로 스케줄링합니다. 세 가지 주요 데이터 중심 메커니즘을 구현합니다.

• 데이터 선택 (Data Selection): 그래디언트 기반 (LESS, NICE), 손실 기반 또는 분포 기반 (NEAR, TSDS) 방법과 같은 전략을 사용하여 학습을 위한 특정 샘플(예: "어려운" 샘플)을 선택합니다.
• 데이터 혼합 (Data Mixture): DoReMi (오프라인) 또는 ODM (온라인)과 같은 방법을 사용하여 학습 중에 서로 다른 도메인의 데이터 비율을 동적으로 조정합니다.
• 데이터 재가중치 부여 (Data Reweighting): 손실 기반 또는 배치 인식 기술을 사용하여 역전파 중에 개별 샘플의 가중치를 조정함으로써 선호하는 데이터를 강조합니다.

대상 사용자

인프라를 처음부터 구축하지 않고도 고급 데이터 중심 학습 기술을 적용하여 모델 성능과 실험 재현성을 향상시키려는 AI 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• LLaMA-Factory 통합: LLaMA-Factory와 완벽하게 호환되는 드롭인 대체제로 작동합니다.
• 통합 구현: 여러 데이터 중심 알고리즘 (LESS, NICE, DoReMi, ODM 등)을 하나의 플랫폼으로 통합합니다.
• 확장성: DeepSpeed ZeRO-3 환경에서의 그래디언트 계산을 지원하여 더 큰 모델을 학습할 수 있습니다.
• 확장 가능성: 새로운 선택기, 혼합기 또는 가중치 부여기를 추가하기 위한 레지스트리 시스템과 기본 클래스 인터페이스를 포함합니다.