mattmireles/gemma-tuner-multimodal

Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch and Metal Performance Shaders.

解决的问题

为 Hugging Face Gemma 模型提供一种简化的方式，可在包括文本、图像和音频在内的多模态数据上进行微调，特别针对 Apple Silicon 用户进行了优化。

工作原理

该项目使用参数高效微调（PEFT）与低秩适应（LoRA），使训练过程更加高效。包含一个命令行向导和一组训练工具，引导用户完成整个流程。

适用人群

使用 Apple Silicon（macOS）并希望将 Gemma 模型定制用于多模态任务的开发者和研究人员。

主要亮点

  • 支持文本、图像和音频的多模态处理。
  • 针对 Apple Silicon 硬件进行了优化。
  • 使用 PEFT LoRA 实现高效微调。
  • 内置命令行向导，简化设置与执行。

相关

  • Dispatch
    Gemma 4 发布：开源多模态模型，支持本地设备

    Gemma 4 是 Google DeepMind 推出的全新开源多模态系列，已在 Hugging Face 上发布，支持图像、音频、视频，拥有最高 256 K 上下文，并可在发布首日即与 transformers、llama.cpp、MLX、Rust 和 WebGPU 兼容。

  • 项目
    hiyouga/LlamaFactory

    LlamaFactory 是一个开源库，提供零代码 CLI 和 Gradio UI，用于微调超过 100 种大型语言模型（如 LLaMA、Qwen、Mistral、Mixtral‑MoE 等），并支持多种技术（LoRA、QLoRA、FlashAttention‑2、GaLore 等）以及 NVIDIA、AMD 和 Ascend 硬件。它内置实验跟踪、OpenAI 风格服务和 Docker 镜像，并被 Amazon、NVIDIA 和 Alibaba 等公司采用。

  • Dispatch
    在 Hugging Face 上微调 Gemma 模型

    Hugging Face 提供了一份指南，介绍如何使用参数高效微调（PEFT）和低秩适配（LoRA）在 GPU 和 Cloud TPU 上定制 Google 的 Gemma 模型。

  • 项目
    Blaizzy/mlx-vlm

    一个在 Mac 上使用 MLX 进行视觉语言模型与全能模型推理及微调的包，支持多模态输入与推测解码以实现更快的生成速度。

  • 项目
    huggingface/huggingface-gemma-recipes

    一套用于实现 Gemma 模型家族的多模态推理、微调和 RAG 的最小化配方与笔记本集合。