jjang-ai/mlxstudio

What it solves

MLX Studio 是一款原生 macOS 桌面應用程式，讓使用者能在 Apple Silicon 本地執行大型語言模型（LLM）、視覺語言模型（VLM）與影像生成模型。它消除對雲端服務、API 金鑰與資料傳輸的需求，提供一個私密、全功能的本地 AI 環境。

How it works

此應用程式建構於 vMLX Engine 與 Apple 的 MLX 框架之上，利用 Metal 進行高效能推論。它提供友善的介面，讓使用者可從 HuggingFace 下載模型、管理會話，並透過聊天介面或相容 OpenAI 的 API 伺服器與 AI 互動。亦內建先進的量化技術，如 JANG 自適應混合精度，以在 Mac 硬體上最佳化模型大小與記憶體使用。

Who it’s for

此工具針對搭載 Apple Silicon（M 系列晶片）的 macOS 使用者設計，適合想在本地執行各種 AI 模型以聊天、編程、影像生成，或作為其他應用程式的本地 API 後端的使用者。

Highlights

• Extensive Model Support：支援超過 65 個模型族群，包含文字 LLM、視覺模型與多模態 omni 模型。
• OpenAI & Anthropic Compatibility：提供即插即用的 OpenAI 與 Anthropic SDK 替代 API 伺服器。
• Agentic Workflows：內建 26+ 種工具，支援檔案 I/O、Shell 執行、網路搜尋與 MCP（Model Context Protocol）支援。
• Local Image Generation：整合 Flux 與 Z-Image 模型，支援本地影像創作與編輯。
• L5 Cache Stack：五層快取系統（含前綴與分頁 KV 快取），最大化吞吐量與記憶體效率。
• Advanced Quantization：具備 JANG 自適應混合精度與「Smelt Mode」以部分載入 MoE 模型，節省 RAM。
• Integrated Model Tools：應用內工具可將 GGUF 模型轉換為 MLX 格式，並執行各種量化任務。