waybarrios/vllm-mlx

OpenAI and Anthropic compatible server for Apple Silicon. Run LLMs and vision-language models (Llama, Qwen-VL, LLaVA) with continuous batching, MCP tool calling, and multimodal support. Native MLX backend, 400+ tok/s. Works with Claude Code.

What it solves

Apple Silicon Macに特化した高スループット推論サーバーを提供し、通常はエンタープライズサーバーで見られるような継続的バッチングやページングKVキャッシュといった高度なサービング機能を実現します。手動でのモデル変換をが必要としなくなり、ユーザーは単一の統一されたプロセスを通じて、多様なマルチモーダルモデル (テキスト、画像、イメージ、ビデオ、オーディオ) を実行できます。

How it works

AppleのMLXフレームワークとMetal kernelsに基づき、このサーバーはユニファイドメモリを活用してGPU上でモデルをネイティブに実行します。メモリ効率を高めるためのページングKVキャッシュ、繰り返しプロンプトを高速化するためのtrie-based prefix cache、そしてデータをディスクに溢れさせることで長文脈コンテキスト・エージェントに対応するためのSSD-tiered cacheを実装しています。これらの機能は、OpenAI-compatible および Anthropic-compatible API を通じて提供されます。

Who it’s for

MシリーズMacを使用している開発者やAI研究者で、並列リクエスト、マルチモーダル入力、または長文脈を持つ複雑なエージェント・ワークフローを処理できる、プロダクショングレードのローカル推論サーバーを必要としている方々です。

Highlights

  • Dual API Support: OpenAI /v1/* と Anthropic /v1/messages エンドポイントを同時に提供します。
  • Advanced Memory Management: 継続的バッチング、ページングKVキャッシュ、および長文脈用のSSD-tiered caching を特徴としています。
  • Multimodal Versatility: LLM, ビジョンモデル (例: Qwen3-VL, Llama vision), オーディオSTT (Whisper), およびネイティブTTSを一つのサーバーでサポートします。
  • Performance Optimizations: Speculative decoding, 稀疏 prefill (sparse prefill) による高速なTime-to-first-token, および MoE expert reduction を含みます。
  • Developer Tooling: 内蔵のPrometheus metrics とプロンプト・スイープ用のベンチマークツールを提供します。