2U1/Qwen-VL-Series-Finetune

An open-source implementaion for fine-tuning Qwen-VL series by Alibaba Cloud.

解决的问题

该项目提供了一个全面的工具包，用于微调Qwen-VL系列视觉语言模型，包括Qwen2-VL、Qwen2.5-VL、Qwen3-VL和Qwen3.5。它简化了将这些模型适配到特定任务的过程，支持从全量微调到LoRA和QLoRA等参数高效技术的多种训练方法。

工作原理

该仓库包含利用HuggingFace和Liger-Kernel进行内存高效训练的脚本。它支持多种训练范式，包括监督微调（SFT）、直接偏好优化（DPO）和组相对策略优化（GRPO）。该系统处理混合模态数据集（图像和视频），并为基于推理的模型提供特定格式，以确保训练与模型的推理时聊天模板匹配。

适用人群

专为希望针对特定领域的视觉理解、视频分析或推理任务定制Qwen-VL模型的AI研究人员和开发人员设计。

亮点

  • 多样化的训练方法：支持全量微调、LoRA、QLoRA、DPO和GRPO。
  • 多模态支持：能够在单图像、多图像和视频数据集上进行训练。
  • 推理优化：针对Qwen3-VL-Thinking和Qwen3.5模型的推理轨迹训练提供专门支持。
  • 效率工具：集成Liger-Kernel和DeepSpeed（Zero2/Zero3）以减少内存使用并提高速度。
  • 灵活的冻结选项：可独立冻结LLM、视觉塔或投影器，或仅解冻顶部k层。
  • 分类支持：包含使用可选MLP层进行分类微调的脚本。

相关

  • 项目
    om-ai-lab/VLM-R1

    VLM-R1 是一个使用 GRPO 训练 R1 风格大型视觉语言模型的框架，旨在提升在视觉定位、数学与目标检测等任务中的推理与泛化能力。

  • Dispatch
    TRL 中的视觉语言模型对齐

    Hugging Face 已扩展 TRL 库以支持视觉语言模型的高级对齐方法，包括 MPO、GRPO 和 GSPO，此外还包括原生的 SFT 支持和 vLLM 集成。

  • 项目
    opendilab/LightRFT

    LightRFT 是一个开源、分布式强化学习框架，用于微调大型语言和多模态生成模型。它统一了训练后端（DeepSpeed, FSDP）与 Rollout 引擎（SGLang, vLLM），支持多种 RL 算法（GRPO, REINFORCE++, DAPO 等），并可跨文本、图像、视频和音频模态运行。该库提供即插即用的示例（例如使用 Qwen2.5 进行 GSM8K）、详尽的文档和 Docker 镜像，非常适合开发 RL 基于对齐管道的研究人员和工程师。

  • Dispatch
    Qwen2.5-VL-32B 发布说明

    Qwen 已发布 Qwen2.5-VL-32B-Instruct，这是一款通过强化学习优化的视觉语言模型，具备卓越的数学推理能力、细粒度的图像理解以及符合人类偏好的响应。

  • Dispatch
    Hugging Face 视觉语言模型 2025 更新

    Hugging Face 提供了对 2024‑2025 年间视觉语言模型（VLM）演进的全面概述，重点阐述了任意到任意架构、推理模型以及面向机器人领域的视觉‑语言‑动作（VLA）模型的兴起。