modelscope/easydistill

무엇을 해결하는가

EasyDistill 2는 블랙박스 교사 모델을 고품질 훈련 데이터로 변환하도록 설계된 설정 기반 툴킷입니다. 지도 미세 조정(SFT) 및 직접 선호도 최적화(DPO)에 사용되는 데이터셋의 생성 및 정제 과정을 자동화하여 지식 증류(knowledge distillation) 프로세스를 단순화합니다.

작동 방식

이 툴킷은 생성, 평가, 필터링, 재작성, 균형 조정 및 선호도 점수 매기기와 같은 원자적 연산자(atomic operators)가 엔드투엔드 워크플로우로 구성되는 파이프라인 기반 방식을 사용합니다. 이러한 파이프라인은 YAML 파일을 통해 구성할 수 있으며, 텍스트 지시문, 사고의 흐름(CoT) 추론, 멀티모달 대화, 에이전트 궤적(agent trajectories)을 포함한 다양한 유형의 훈련 데이터를 생성할 수 있습니다. 이 툴킷은 백엔드에 구애받지 않으며, OpenAI와 호환되는 모든 엔드포인트(예: vLLM, Azure OpenAI) 및 이미지와 비디오 생성을 위한 특화된 백엔드를 지원합니다.

대상 사용자

대형 독점 또는 오픈 소스 교사 모델의 지식을 사용하여 더 작고 특화된 모델을 훈련시키기 위한 고품질 합성 데이터셋을 만들고자 하는 개발자와 연구자를 대상으로 합니다.

주요 특징

• 멀티모달 지원: 텍스트, 시각-언어, 텍스트-이미지(T2I), 텍스트-비디오(T2V) 작업을 위한 데이터를 증류합니다.
• 구성 가능한 파이프라인: 이미 만들어진 엔드투엔드 파이프라인과 맞춤형 데이터 전략을 위한 개별 연산자를 모두 제공합니다.
• 에이전트 기반 증류: LangGraph ReAct 루프를 사용하여 가상 도구 사용 작업 및 멀티턴 에이전트 궤적을 합성할 수 있습니다.
• 훈련 준비 완료된 출력: LLaMA-Factory 및 ms-swift와 호환되는 형식으로 데이터를 내보냅니다.
• 다양한 데이터 유형: SFT 데이터셋, DPO 선호도 쌍 및 복잡한 추론 흔적(CoT)을 생성합니다.