maestro: 一个加速多模态视觉语言模型微调的精简工具

它解决了什么问题

Maestro 简化了微调多模态（视觉语言）模型的复杂过程。它消除了编写重复的配置、数据加载和训练循环设置等样板代码的需求，让开发者能够专注于特定的任务。

工作原理

Maestro 提供了一个统一的 CLI 和 Python SDK，封装了训练的最佳实践。它使用一致的 JSONL 数据格式来简化数据处理，并为特定模型提供即插即用的配方（recipes）。它支持 LoRA、QLoRA 和 graph freezing 等高效训练技术，以降低硬件要求。

适用人群

希望快速微调视觉语言模型（VLMs）如 Florence-2、PaliGemma 2 和 Qwen2.5-VL，以执行目标检测和 JSON 数据提取等任务的开发者和 AI 研究人员。

亮点

• 广泛的模型支持：为 Florence-2、PaliGemma 2 和 Qwen2.5-VL 提供即插即用的配方。
• 灵活的接口：可以通过命令行界面或 Python API 启动，以获得更多控制权。
• 高效的训练：支持 LoRA、QLoRA 和 graph freezing 以降低内存占用。
• 高层抽象：自动处理可复现性、数据准备和训练循环设置。