mattmireles/gemma-tuner-multimodal
Fine-tune Gemma 4 and 3n with audio, images and text on Apple Silicon, using PyTorch and Metal Performance Shaders.
해결하는 문제
Hugging Face Gemma 모델을 텍스트, 이미지, 오디오를 포함한 다중 모달 데이터로 미세 조정할 수 있는 간편한 방법을 제공하며, Apple Silicon 사용자를 위한 특별 최적화가 되어 있습니다.
작동 방식
파라미터 효율적인 미세 조정(PEFT)과 낮은 랭크 적응(LoRA)을 사용하여 학습 프로세스를 더 효율적으로 만듭니다. 사용자가 과정을 쉽게 진행할 수 있도록 명령줄 워즈와 트레이닝 도구 세트를 포함하고 있습니다.
대상 사용자
Apple Silicon(macOS)을 사용하여 Gemma 모델을 다중 모달 작업에 맞게 맞춤화하고자 하는 개발자 및 연구자.
주요 특징
- 텍스트, 이미지, 오디오에 대한 다중 모달 지원.
- Apple Silicon 하드웨어에 최적화됨.
- 효율적인 미세 조정을 위한 PEFT LoRA 사용.
- 더 쉬운 설정과 실행을 위한 명령줄 워즈 포함.
관련
- Dispatch
Gemma 4 출시: 온디바이스 지원을 갖춘 오픈 소스 멀티모달 모델Google DeepMind의 새로운 오픈 소스 멀티모달 제품군인 Gemma 4가 이미지, 오디오, 비디오 지원, 최대 256K 컨텍스트, 그리고 transformers, llama.cpp, MLX, Rust, WebGPU와의 day-0 호환성을 갖추고 Hugging Face에 출시되었습니다.
- 프로젝트
hiyouga/LlamaFactoryLlamaFactory는 100개 이상의 대규모 언어 모델(LLaMA, Qwen, Mistral, Mixtral‑MoE 등)을 다양한 기술(LoRA, QLoRA, FlashAttention‑2, GaLore 등)을 사용하여 미세 조정할 수 있는 오픈 소스 라이브러리로, 코드 없는 CLI와 Gradio UI를 제공합니다. NVIDIA, AMD, Ascend 하드웨어를 지원하며, 실험 추적, OpenAI 스타일 서빙, Docker 이미지를 내장하고 있고 Amazon, NVIDIA, Alibaba 등에서 사용됩니다.
- Dispatch
Hugging Face에서 Gemma 모델 파인튜닝Hugging Face는 Parameter-Efficient Fine-Tuning(PEFT)과 Low-Rank Adaptation(LoRA)을 활용해 Google의 Gemma 모델을 GPU와 Cloud TPU에서 맞춤화하는 가이드를 제공합니다.
- 프로젝트
Blaizzy/mlx-vlmMLX를 사용하여 Mac에서 비전 언어 모델 및 옴니 모델의 추론과 미세 조정을 수행하는 패키지로, 멀티모달 입력과 추측 디코딩을 지원하여 생성 속도를 높입니다.
- 프로젝트