2U1/Qwen-VL-Series-Finetune

해결하는 문제

이 프로젝트는 Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5를 포함한 Qwen-VL 시리즈 비전-언어 모델을 파인튜닝하기 위한 포괄적인 툴킷을 제공합니다. 전체 파인튜닝부터 LoRA 및 QLoRA와 같은 파라미터 효율적인 기법까지 다양한 학습 방법을 지원하여 특정 작업에 모델을 적용하는 과정을 간소화합니다.

작동 방식

이 저장소는 HuggingFace와 Liger-Kernel을 활용하여 메모리 효율적인 학습을 수행하는 스크립트를 포함합니다. 지도 파인튜닝(SFT), 직접 선호 최적화(DPO), 그룹 상대 정책 최적화(GRPO)를 포함한 여러 학습 패러다임을 지원합니다. 이 시스템은 혼합 모달리티 데이터셋(이미지 및 비디오)을 처리하고 추론 기반 모델에 특화된 형식을 제공하여 학습이 모델의 추론 시 채팅 템플릿과 일치하도록 합니다.

대상 사용자

도메인 특화 시각 이해, 비디오 분석 또는 추론 작업을 위해 Qwen-VL 모델을 사용자 지정하려는 AI 연구자와 개발자를 위해 설계되었습니다.

주요 기능

• 다양한 학습 방법: 전체 파인튜닝, LoRA, QLoRA, DPO, GRPO를 지원합니다.
• 멀티모달 지원: 단일 이미지, 다중 이미지, 비디오 데이터셋에서 학습할 수 있습니다.
• 추론 최적화: Qwen3-VL-Thinking 및 Qwen3.5 모델에 대한 추론 추적 학습을 특화 지원합니다.
• 효율성 도구: Liger-Kernel 및 DeepSpeed(Zero2/Zero3)를 통합하여 메모리 사용량을 줄이고 속도를 높입니다.
• 유연한 프리징: LLM, 비전 타워, 프로젝터를 개별적으로 프리징하거나 상위 k개 레이어만 언프리즈하는 옵션을 제공합니다.
• 분류 지원: 선택적 MLP 레이어를 사용한 분류 파인튜닝 스크립트를 포함합니다.