mattmireles/gemma-tuner-multimodal

Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch and Metal Performance Shaders.

何を解決するか

Apple Siliconユーザー向けに最適化された、Hugging Face Gemmaモデルをテキスト、画像、音声のマルチモーダルデータで微調整するためのスムーズな方法を提供します。

動作方法

パラメータ効率的な微調整（PEFT）と低ランク適応（LoRA）を使用して、トレーニングプロセスをより効率的にします。コマンドラインウィザードとトレーニングツールのセットを含み、ユーザーがプロセスをスムーズに進められるようにサポートします。

対象ユーザー

Apple Silicon（macOS）を使用し、Gemmaモデルをマルチモーダルタスクにカスタマイズしたい開発者および研究者。

特徴

  • テキスト、画像、音声のマルチモーダル対応。
  • Apple Siliconハードウェアに最適化。
  • 効率的な微調整のためのPEFT LoRAを使用。
  • より簡単なセットアップと実行を可能にするコマンドラインウィザードを搭載。

関連

  • Dispatch
    Gemma 4 リリース：オンデバイス対応のオープンソース・マルチモーダルモデル

    Google DeepMind による新しいオープンソース・マルチモーダル・ファミリーである Gemma 4 が、画像、音声、ビデオのサポート、最大 256K のコンテキスト、および transformers、llama.cpp、MLX、Rust、WebGPU との Day-0 互換性を備えて Hugging Face でリリースされました。

  • プロジェクト
    hiyouga/LlamaFactory

    LlamaFactoryは、100種類以上の大規模言語モデル（LLaMA、Qwen、Mistral、Mixtral‑MoEなど）を、幅広い手法（LoRA、QLoRA、FlashAttention‑2、GaLoreなど）で微調整するための、コード不要のCLIとGradio UIを提供するオープンソースライブラリです。NVIDIA、AMD、Ascendハードウェアをサポートしており、実験追跡、OpenAIスタイルのサービング、Dockerイメージを内蔵し、Amazon、NVIDIA、Alibabaなどで利用されています。

  • Dispatch
    Hugging FaceでのGemmaモデルのファインチューニング

    Hugging Face は、パラメータ効率的ファインチューニング（PEFT）と低ランク適応（LoRA）を使用して、Google の Gemma モデルを GPU および Cloud TPU 上でカスタマイズするためのガイドを提供しています。

  • プロジェクト
    Blaizzy/mlx-vlm

    MLXを使用してMac上でビジョン言語モデルおよびオムニモデルの推論と微調整を行うためのパッケージ。マルチモーダル入力と推測デコードをサポートし、生成速度を高速化します。

  • プロジェクト
    huggingface/huggingface-gemma-recipes

    Gemmaファミリーのモデルを使ってマルチモーダル推論、ファインチューニング、RAGを実装するための最小限のレシピとノートブックのコレクションです。