lmstudio-ai/mlx-engine
LM Studio Apple MLX engine
解決する課題
macOS上のLM Studio向けに高性能なLLMエンジンを提供し、ユーザーがApple Silicon上で最適化されたパフォーマンスで大規模言語モデルおよびビジョンモデルをローカルで実行できるようにします。
仕組み
このエンジンはApple MLXフレームワークに基づいて構築されており、テキスト生成には mlx-lm、ビジョンモデルの推論には mlx-vlm、構造化出力には Outlines を活用しています。Mac版のLM Studio(バージョン 0.3.4以降)に直接統合されていますが、Python経由でのスタンドアロンなデモ利用も可能です。
対象ユーザー
Appleの最適化されたMLXフレームワークを使用して、LM Studioのエコシステム内でローカルLLMおよびビジョンモデルを実行したいMacユーザー。
関連
- プロジェクト
jjang-ai/mlxstudioApple Silicon 上で MLX フレームワークを使用してローカルに LLM、VLM、画像生成モデルを実行するためのネイティブ macOS デスクトップアプリ。
- プロジェクト
jjang-ai/vmlxApple Silicon(M1/M2/M3/M4)向けに最適化された自己ホスト型推論サーバー。LLM、VLM、画像生成モデルをローカルで実行するためのOpenAI、Anthropic、Ollama互換APIを提供します。
- プロジェクト
Blaizzy/mlx-vlmMLXを使用してMac上でビジョン言語モデルおよびオムニモデルの推論と微調整を行うためのパッケージ。マルチモーダル入力と推測デコードをサポートし、生成速度を高速化します。
- プロジェクト
ml-explore/mlx-lmMLXフレームワークを使用し、Appleシリコン向けに最適化されたテキスト生成および大規模言語モデル(LLM)のファインチューニング用Pythonパッケージ。
- プロジェクト
vllm-project/vllm-metalvLLM Metal は、MLX/Metal バックエンドを使用して Apple Silicon Mac 上で vLLM LLM サービングシステムを実行できるようにするプラグインです。Metal 最適化アテンションカーネル(ページド varlen、M5 NAX プリフィル)を提供し、Qwen‑3.8‑27B などの大規模モデルをサポートします。Homebrew または curl スクリプトでインストールし、macOS 15+ で通常の `vllm` コマンドを使用します。