ddalcu/mlx-serve

解決する課題

mlx-serveは、Apple Silicon Mac向けの高性能なローカル推論サーバーを提供し、Pythonやクラウドへの依存を不要にします。MLXとGGUFの両形式をサポートし、単一ポートで複数の業界標準API（OpenAI、Anthropic、Ollama）を公開することで、断片化されたモデル形式とAPI互換性の問題を解決します。

仕組み

ネイティブのZigバイナリとして構築されたこのサーバーは、MLXと組み込みのllama.cppを統合し、多種多様なLLMおよびマルチモーダルモデルを実行します。カスタムMetalカーネル、継続的バッチ処理、および4種類の投機的デコード（PLD、ドラフトコンパニオン、Gemma 4ドラフター、Qwen MTP）を活用して、Appleハードウェアでのデコード速度を最大化します。このプロジェクトには、モデル管理、チャット、エージェントオーケストレーションのためのmacOSメニューバーアプリ（MLX Core）も含まれています。

対象読者

Apple Silicon Macを使用する開発者やAI愛好家で、既存のコーディングエージェント（Claude Code、Cursor、Zedなど）や他のAIツールとシームレスに統合できる、高速で軽量なローカルLLMサーバーを求める方々。

ハイライト

• マルチフォーマットサポート: HuggingFaceの任意のMLX形式モデルおよび任意のGGUFモデルを実行します。
• 統合API: 単一ポートでOpenAI、Anthropic Messages、Ollama APIをサポートします。
• マルチモーダル機能: 画像、動画、音楽、音声（音声クローンを含む）、および3Dモデルのネイティブ生成。
• 高性能: 同一のMLXウェイトを使用して、LM Studioをデコード速度で上回ります。
• エージェント対応: 組み込みのエージェントループ、MCPツール呼び出し、および安全なエージェントシェル実行のためのサンドボックス化されたLinux VM。
• Python不要: 単一の小さなZigバイナリまたは公証済みのmacOSアプリとして提供されます。
• LAN共有: Bonjourを介してネットワーク経由で別のMacでホストされているモデルを使用できます。

概要

Apple Silicon向けのネイティブZigベースの推論サーバーで、MLXおよびGGUFモデルをサポートし、OpenAI、Anthropic、Ollama APIとの互換性を備えています。

タイトル

複数のモデル形式と業界標準APIをサポートするApple Silicon向けの高性能ローカル推論サーバー