waybarrios/vllm-mlx

何を解決するか

vllm-mlx は Apple Silicon Mac に特化した高スループットの推論サーバーです。macOS 上で vLLM 風のサービング体験を提供し、基本的なローカル LLM ランナーに欠けがちな高度なメモリ管理とバッチ処理技術を備えつつ、単一プロセスからテキスト、画像、動画、音声を含む幅広いマルチモーダルモデルをサポートします。

動作方法

このプロジェクトは MLX フレームワークと Metal カーネルを活用し、Apple の統合メモリアーキテクチャを活かしています。vLLM からインスパイアされたいくつかの重要な最適化技術を実装しています：

• 連続バッチ処理：複数のリクエストを同時に処理することでスループットを向上。
• ページ化 KV キャッシュ：メモリを効率的に管理し、プレフィックス共有を可能に。
• プレフィックスキャッシュ：トライ木ベースのシステムにより、リクエスト間で共通のプロンプトプレフィックスを共有。
• SSDティアードキャッシュ：プレフィックスキャッシュをディスクにスプールすることで、長文コンテキストエージェントをサポート。

OpenAI および Anthropic 用の互換 API を提供し、多くのローカル開発環境でこれらのサービスの即時置き換えが可能になります。

対象ユーザー

Apple Silicon（M1 から M5）を搭載する開発者や AI 研究者で、高パフォーマンス、高並行性、既存の AI SDK やコードエージェント（例：Claude Code や GitHub Copilot CLI）との互換性を備えたローカルでのマルチモーダルモデル実行が必要な方。

主な特徴

• 二重 API サポート：OpenAI /v1/* および Anthropic /v1/messages エンドポイントのネイティブサポート。
• マルチモーダル対応：LLM、ビジョンモデル（例：Gemma 3、Qwen3-VL）、音声（TTS および STT）、埋め込み表現を単一サーバーでサポート。
• 高度なメモリ管理：ページ化 KV キャッシュと SSDティアードキャッシュにより、長文コンテキストタスクに対応。
• ネイティブ高速化：MLX を基盤としており、モデル変換手順を必要とせず Apple Silicon 上の GPU を直接加速。
• 可観測性：Prometheus メトリクスとプロンプトスイープ用ベンチマークツールを内蔵。