jjang-ai/vmlx

何を解決するか

vMLXは、Apple Silicon（M1/M2/M3/M4）に特化して設計された自己ホスト型推論サーバーで、ユーザーが大規模言語モデル（LLM）、視覚言語モデル（VLM）、画像生成モデルをクラウドAPIキーなしでローカルで実行できるようにします。

動作方法

MLXフレームワークを活用し、OpenAI、Anthropic、Ollama互換のHTTP APIを提供します。システムは、メモリ対応のプレフィックスキャッシュとディスクキャッシュを含む高度な5層キャッシュアーキテクチャを使用し、連続バッチ処理、推測デコード、プロンプト検索デコードなどの高度な推論技術をサポートしてパフォーマンスを最適化します。また、ネットワーク接続（Thunderbolt、イーサネット、WiFi）を介して複数のMacにモデルを分割して分散推論を可能にします。

対象ユーザー

Apple Silicon搭載Macを使用し、テキスト、画像、音声AIタスク用に高パフォーマンスなローカル代替手段を求める開発者やAI研究者。

主な特徴

• 広範なモデル対応: 任意のMLXモデル（テキストLLM、視覚モデル、マルチモーダルオムニモデル、MoEアーキテクチャなど）を実行可能。
• 分散コンピューティング: パイプライン並列処理により、複数のMacで大規模モデルを実行可能。
• L2ディスクキャッシュ: プロンプトキャッシュをSSDに永続化し、サーバー再起動後も即時応答を実現。
• マルチAPI互換性: OpenAI、Anthropic、Ollamaのワイヤフォーマットをネイティブでサポート。
• 統合デスクトップアプリ: GUIベースのチャットインターフェース、モデル管理、開発者ツールを備えたMLX Studioを内蔵。
• 高度な量子化: JANG適応型混合精度をサポートし、低ビット幅でも高い品質を維持。