mlx-vlm: それが何か、解決する問題、そして注目を集めている理由

解決すること

MLX-VLM は、Apple Silicon Mac 上で MLX フレームワークを使用して、Vision Language Models（VLM）および Omni Models（音声や動画もサポート）を実行・ファインチューニングするための簡便な方法を提供します。テキスト、画像、音声を単一の環境で処理できるマルチモーダルモデルのデプロイをシンプルにします。

仕組み

このパッケージは MLX フレームワークを活用し、Mac ハードウェア向けに推論と学習を最適化します。CLI、Gradio ベースのチャット UI、Python API、FastAPI サーバーなど、複数のインターフェースを提供します。性能向上のために以下の高度な手法を実装しています。

• Speculative Decoding（推測デコード）: 小さな「ドラフタ」モデル（DFlash、EAGLE-3、Gemma 4 MTP など）でトークンを予測し、対象モデルがそれを検証することで生成速度を向上させます。
• Continuous Batching（連続バッチング）: 新しいリクエストがアクティブなバッチに即座に参加でき、スループットを高めます。
• Automatic Prefix Caching (APC)（自動プレフィックスキャッシュ）: 共有プレフィックス（長文ドキュメントやチャット履歴など）の K/V キャッシュ状態をリクエスト間で再利用し、メモリおよびディスクベースのキャッシュをサポートします。
• Quantization（量子化）: KV キャッシュの量子化（TurboQuant を含む）に対応し、メモリ使用量を削減します。

対象ユーザー

• ローカルでマルチモーダル AI モデルを実行したい Mac ユーザー（開発者・研究者）
• FastAPI を使って高スループットなサーバーとして VLM をデプロイしたいユーザー
• Apple Silicon 上でビジョン・ランゲージモデルをファインチューニングしたい AI 実務者

ハイライト

• マルチモーダル対応: テキスト、画像、音声入力を処理可能
• Thinking Mode（思考モード）: Qwen3.5 などの「思考」モデルをサポートし、内部推論ブロック用のトークン予算を設定可能
• 高性能: 推測デコードと連続バッチングにより高速推論を実現
• 効率的なメモリ使用: 自動プレフィックスキャッシュと KV キャッシュ量子化により、長いコンテキストや多数のリクエストを効率的に処理