jjang-ai/mlxstudio

What it solves

MLX Studio 是一款原生 macOS 桌面应用程序，允许用户在 Apple Silicon 本地运行大型语言模型（LLMs）、视觉语言模型（VLM）和图像生成模型。它消除对云服务、API 密钥和数据传输的需求，提供一个私密、全功能的本地 AI 环境。

How it works

该应用基于 vMLX Engine 和 Apple 的 MLX 框架构建，利用 Metal 实现高性能推理。它提供友好的界面，用于从 HuggingFace 下载模型、管理会话，并通过聊天界面或兼容 OpenAI 的 API 服务器与 AI 交互。还包括先进的量化技术，如 JANG 自适应混合精度，以在 Mac 硬件上优化模型大小和内存使用。

Who it’s for

它面向使用 Apple Silicon（M 系列芯片）的 macOS 用户，适合希望本地运行各种 AI 模型进行聊天、编码、图像生成，或作为其他应用的本地 API 后端的用户。

Highlights

• Extensive Model Support：支持超过 65 个模型家族，包括文本 LLM、视觉模型和多模态 omni 模型。
• OpenAI & Anthropic Compatibility：提供即插即用的 OpenAI 与 Anthropic SDK 替代 API 服务器。
• Agentic Workflows：内置 26+ 种工具，支持文件 I/O、Shell 执行、网页搜索和 MCP（Model Context Protocol）支持。
• Local Image Generation：集成对 Flux 和 Z-Image 模型的本地图像创建与编辑支持。
• L5 Cache Stack：五层缓存系统（包括前缀和分页 KV 缓存），最大化吞吐量和内存效率。
• Advanced Quantization：具备 JANG 自适应混合精度和 “Smelt Mode” 用于部分加载 MoE 模型以节省 RAM。
• Integrated Model Tools：应用内工具可将 GGUF 模型转换为 MLX 格式并执行各种量化任务。