lmstudio-ai/mlx-engine

LM Studio Apple MLX engine

解决的问题

它为 macOS 上的 LM Studio 提供高性能 LLM 引擎，允许用户在 Apple Silicon 上以优化的性能本地运行大语言模型和视觉模型。

工作原理

该引擎基于 Apple MLX 框架构建，利用 mlx-lm 进行文本生成，利用 mlx-lm 进行视觉模型推理，并利用 Outlines 实现结构化输出。它直接集成到 Mac 版 LM Studio（0.3.4+ 版本）中，但也支持通过 Python 进行独立演示使用。

适用对象

希望使用 Apple 优化的 MLX 框架在 LM Studio 生态系统中运行本地 LLM 和视觉模型的 Mac 用户。

相关

  • 项目
    jjang-ai/mlxstudio

    一款在 Apple Silicon 上使用 MLX 框架本地运行 LLM、VLM 与图像生成模型的原生 macOS 桌面应用。

  • 项目
    jjang-ai/vmlx

    一个自托管的 Apple Silicon 推理服务器，提供兼容 OpenAI、Anthropic 和 Ollama 的 API，以在本地运行 LLM、VLM 和图像生成模型。

  • 项目
    Blaizzy/mlx-vlm

    一个使用 MLX 在 Mac 上进行视觉语言模型和全模态模型的推理与微调的包，支持推测解码和多模态功能。

  • 项目
    ml-explore/mlx-lm

    一个用于在 Apple silicon 上使用 MLX 框架生成文本并微调大型语言模型的 Python 包。

  • 项目
    vllm-project/vllm-metal

    A vLLM plugin that enables high-performance LLM inference on Apple Silicon Macs by using MLX as the compute backend.