2U1/Qwen-VL-Series-Finetune

解決する課題

このプロジェクトは、Qwen2-VL、Qwen2.5-VL、Qwen3-VL、Qwen3.5を含むQwen-VLシリーズの視覚言語モデルをファインチューニングするための包括的なツールキットを提供します。フルファインチューニングからLoRAやQLoRAのようなパラメータ効率的な手法まで、さまざまなトレーニング方法をサポートし、これらのモデルを特定のタスクに適応させるプロセスを簡素化します。

仕組み

このリポジトリには、HuggingFaceとLiger-Kernelを活用してメモリ効率の高いトレーニングを行うスクリプトが含まれています。教師ありファインチューニング（SFT）、直接選好最適化（DPO）、グループ相対方策最適化（GRPO）など、複数のトレーニングパラダイムをサポートしています。このシステムは、混合モダリティのデータセット（画像と動画）を処理し、推論ベースのモデルに特化したフォーマットを提供して、トレーニングがモデルの推論時のチャットテンプレートと一致するようにします。

対象者

ドメイン固有の視覚理解、動画分析、または推論タスクのためにQwen-VLモデルをカスタマイズしたいAI研究者や開発者向けに設計されています。

ハイライト

• 多様なトレーニング手法: フルファインチューニング、LoRA、QLoRA、DPO、GRPOをサポート。
• マルチモーダル対応: 単一画像、複数画像、動画データセットでのトレーニングが可能。
• 推論最適化: Qwen3-VL-ThinkingおよびQwen3.5モデル向けの推論トレーストレーニングを特化サポート。
• 効率ツール: Liger-KernelとDeepSpeed（Zero2/Zero3）を統合し、メモリ使用量を削減して速度を向上。
• 柔軟なフリーズ設定: LLM、ビジョンタワー、プロジェクターを個別にフリーズするか、上位k層のみをアンフリーズするオプション。
• 分類サポート: オプションのMLP層を使用した分類ファインチューニング用スクリプトを含む。