ARahim3/mlx-tune
Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding, and OCR fine-tuning — natively on MLX. Unsloth-compatible API.
What it solves
mlx-tune 为 Mac 用户提供在 Apple Silicon 本地微调各种 AI 模型的方式。它特别解决了“上下文切换”问题:开发者想在 Mac 上本地原型和迭代训练脚本,然后使用 Unsloth 库将代码直接迁移到云端 GPU,而无需重写代码。
How it works
它将 Apple 原生的 MLX 框架封装成与 Unsloth 兼容的 API。用户可以在 Mac 上使用熟悉的类(如 FastLanguageModel 和 SFTTrainer)编写训练代码,然后将相同脚本迁移到基于 CUDA 的环境进行生产训练。支持包括文本、视觉、音频和 OCR 在内的广泛模态,并利用 Mac 的统一内存实现高效本地训练。
Who it’s for
使用 Apple Silicon(M1 到 M5)的开发者和 AI 研究者,想在本地原型、学习并迭代微调流水线,然后部署到云端 NVIDIA GPU。
Highlights
- Broad Model Support: Fine-tune LLMs, Vision-Language Models (VLMs), Text-to-Speech (TTS), Speech-to-Text (STT), Embeddings, and OCR models.
- Unsloth-Compatible API: Allows for seamless code portability between Mac and CUDA clusters.
- Advanced Training Methods: Supports SFT, DPO, ORPO, GRPO, KTO, and SimPO.
- uma Unified Memory: Can leverage up to 512GB of unified memory on Mac Studio.
- JEPA Integration: Implements Joint-Embedding Predictive Architecture (JEPA) for vision, video, and LLM fine-tuning.
- Flexible Export: Export models in HuggingFace format or GGUF for use with Ollama and llama.cpp.