lmstudio-ai/mlx-engine
LM Studio Apple MLX engine
解決する課題
macOS上のLM Studio向けに高性能なLLMエンジンを提供し、ユーザーがApple Silicon上で最適化されたパフォーマンスで大規模言語モデルおよびビジョンモデルをローカルで実行できるようにします。
仕組み
このエンジンはApple MLXフレームワークに基づいて構築されており、テキスト生成には mlx-lm、ビジョンモデルの推論には mlx-vlm、構造化出力には Outlines を活用しています。Mac版のLM Studio（バージョン 0.3.4以降）に直接統合されていますが、Python経由でのスタンドアロンなデモ利用も可能です。
対象ユーザー
Appleの最適化されたMLXフレームワークを使用して、LM Studioのエコシステム内でローカルLLMおよびビジョンモデルを実行したいMacユーザー。
関連
- プロジェクト
jjang-ai/mlxstudioApple Silicon 上で MLX フレームワークを使用してローカルに LLM、VLM、画像生成モデルを実行するためのネイティブ macOS デスクトップアプリ。
- プロジェクト
jjang-ai/vmlxApple Silicon 用のセルフホスト型推論サーバーで、OpenAI、Anthropic、Ollama 互換の API を提供し、ローカルで LLM、VLM、画像生成モデルを実行できます。
- プロジェクト
Blaizzy/mlx-vlmMLX を使用して Mac 上で Vision Language Models および Omni Models の推論と微調整を行うためのパッケージ。推測的デコードとマルチモーダル対応を備えています。
- プロジェクト
ml-explore/mlx-lmApple silicon上でMLXフレームワークを使用してテキスト生成および大規模言語モデルの微調整を行うためのPythonパッケージ。
- プロジェクト
vllm-project/vllm-metalA vLLM plugin that enables high-performance LLM inference on Apple Silicon Macs by using MLX as the compute backend.