ARahim3/mlx-tune

Fine-tune LLMs on your Mac with Apple Silicon. SFT, DPO, GRPO, Vision, TTS, STT, Embedding, and OCR fine-tuning — natively on MLX. Unsloth-compatible API.

What it solves

mlx-tune 为 Mac 用户提供在 Apple Silicon 本地微调各种 AI 模型的方式。它特别解决了“上下文切换”问题:开发者想在 Mac 上本地原型和迭代训练脚本,然后使用 Unsloth 库将代码直接迁移到云端 GPU,而无需重写代码。

How it works

它将 Apple 原生的 MLX 框架封装成与 Unsloth 兼容的 API。用户可以在 Mac 上使用熟悉的类(如 FastLanguageModelSFTTrainer)编写训练代码,然后将相同脚本迁移到基于 CUDA 的环境进行生产训练。支持包括文本、视觉、音频和 OCR 在内的广泛模态,并利用 Mac 的统一内存实现高效本地训练。

Who it’s for

使用 Apple Silicon(M1 到 M5)的开发者和 AI 研究者,想在本地原型、学习并迭代微调流水线,然后部署到云端 NVIDIA GPU。

Highlights

  • Broad Model Support: Fine-tune LLMs, Vision-Language Models (VLMs), Text-to-Speech (TTS), Speech-to-Text (STT), Embeddings, and OCR models.
  • Unsloth-Compatible API: Allows for seamless code portability between Mac and CUDA clusters.
  • Advanced Training Methods: Supports SFT, DPO, ORPO, GRPO, KTO, and SimPO.
  • uma Unified Memory: Can leverage up to 512GB of unified memory on Mac Studio.
  • JEPA Integration: Implements Joint-Embedding Predictive Architecture (JEPA) for vision, video, and LLM fine-tuning.
  • Flexible Export: Export models in HuggingFace format or GGUF for use with Ollama and llama.cpp.