lmstudio-ai/mlx-engine

LM Studio Apple MLX engine

解決的問題

它為 macOS 上的 LM Studio 提供高性能 LLM 引擎，允許使用者在 Apple Silicon 上以優化的效能本地執行大型語言模型與視覺模型。

該引擎基於 Apple MLX 框架構建，利用 mlx-lm 進行文本生成，利用 mlx-vlm 進行視覺模型推理，並利用 Outlines 實現結構化輸出。它直接整合至 Mac 版 LM Studio（0.3.4+ 版本）中，但也支援透過 Python 進行獨立演示使用。

希望使用 Apple 優化的 MLX 框架在 LM Studio 生態系統中執行本地 LLM 與視覺模型的 Mac 使用者。

專案
jjang-ai/mlxstudio
一款在 Apple Silicon 上使用 MLX 框架本地執行 LLM、VLM 與影像生成模型的原生 macOS 桌面應用程式。
專案
jjang-ai/vmlx
一個自託管的 Apple Silicon 推理伺服器，提供相容 OpenAI、Anthropic 與 Ollama 的 API，讓本機執行 LLM、VLM 與影像生成模型。
專案
Blaizzy/mlx-vlm
一個使用 MLX 在 Mac 上進行視覺語言模型與全模態模型的推理與微調的套件，支援推測解碼與多模態功能。
專案
ml-explore/mlx-lm
一個用於在 Apple silicon 上使用 MLX 框架生成文字並微調大型語言模型的 Python 套件。
專案
vllm-project/vllm-metal
A vLLM plugin that enables high-performance LLM inference on Apple Silicon Macs by using MLX as the compute backend.