ARahim3/mlx-tune
Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding, and OCR fine-tuning — natively on MLX. Unsloth-compatible API.
What it solves
mlx-tune은 Mac 사용자가 Apple Silicon에서 다양한 AI 모델을 로컬로 파인튜닝할 수 있는 방법을 제공합니다. 개발자가 Mac에서 트레이닝 스크립트를 프로토타이핑하고 반복한 뒤, Unsloth 라이브러리를 사용해 코드를 다시 작성하지 않고 클라우드 GPU로 확장하고자 하는 "컨텍스트 스위치" 문제를 해결합니다.
How it works
Apple의 네이티브 MLX 프레임워크를 Unsloth 호환 API로 래핑합니다. 이를 통해 사용자는 Mac에서 FastLanguageModel 및 SFTTrainer와 같은 익숙한 클래스를 사용해 트레이닝 코드를 작성하고, 동일한 스크립트를 CUDA 기반 환경으로 옮겨 프로덕션 트레이닝을 수행할 수 있습니다. 텍스트, 비전, 오디오, OCR 등 다양한 모달리티를 지원하며, Mac의 통합 메모리를 활용해 효율적인 로컬 트레이닝을 구현합니다.
Who it’s for
Apple Silicon(M1~M5) 사용 개발자 및 AI 연구자로, 로컬에서 파인튜닝 파이프라인을 프로토타이핑·학습·반복하고 이후 클라우드 NVIDIA GPU에 배포하고자 하는 분들을 위한 것입니다.
Highlights
- Broad Model Support: Fine-tune LLMs, Vision-Language Models (VLMs), Text-to-Speech (TTS), Speech-to-Text (STT), Embeddings, and OCR models.
- Unsloth-Compatible API: Allows for seamless code portability between Mac and CUDA clusters.
- Advanced Training Methods: Supports SFT, DPO, ORPO, GRPO, KTO, and SimPO.
- uma Unified Memory: Can leverage up to 512GB of unified memory on Mac Studio.
- JEPA Integration: Implements Joint-Embedding Predictive Architecture (JEPA) for vision, video, and LLM fine-tuning.
- Flexible Export: Export models in HuggingFace format or GGUF for use with Ollama and llama.cpp.