raullenchai/Rapid-MLX

それは何か？

Rapid-MLX は、Apple Silicon Mac（M1–M4）専用に設計されたローカル AI 推論サーバーです。Qwen などのオープンウェイト LLM を読み込み、完全に自分のマシン上で実行し、標準化された OpenAI および Anthropic 互換 API を公開するため、コーディングエージェント（Codex CLI、Claude Code、Aider など）はクラウド API のドロップイン代替として利用できます。コードが Mac から出ることはありません。

Apple の MLX 機械学習フレームワーク上に構築されており、主な売りは速度です。README によると、同じモデルと重みで Apple のリファレンス mlx-lm サーバーよりも最大 4 倍高速なデコード（一般的なタスクでは 1.5 倍）を実現しています。README のベンチマーク表では、Qwen モデルで oMLX や LM Studio などの代替品を上回っています。

主な機能

• デュアル API 互換性 — OpenAI チャット API（/v1/chat/completions、/v1/responses）と Anthropic Messages API の両方をサポートするため、ほとんどの既存クライアントツールはアダプターなしで動作します。
• エージェント向けツール呼び出し — モデル出力から構造化されたツール/関数呼び出しを抽出するための 27 のパーサーモジュールと、自動検出フォールバックを備えています。これがコアユースケースです。コーディングエージェント向けの信頼性の高い関数呼び出しです。
• パフォーマンスエンジニアリング — 同時リクエストのための継続的バッチ処理、radix プレフィックスキャッシュ（リクエスト間の繰り返しプロンプトプレフィックスを最適化）で再起動後もディスクに永続化、量子化 KV キャッシュ。
• 複数のランタイム — CLI、macOS デスクトップアプリ（チャット、モデル管理、ビジョン、ファイル用の GUI）、HTTP サーバー。
• テキストを超えて — 画像生成（例：FLUX、SDXL、Stable Diffusion 3.5）、画像編集、ビジョンモデルを含む。オーディオ（TTS/STT）と埋め込みはオプションの追加機能です。
• モデルカタログ — 厳選されたエイリアス（例：qwen3.5-4b-4bit）とダウンロードサイズ、RAM 要件、推奨デフォルトを提供。初回実行の rapid-mlx chat はスターターモデル（約 3 GB）を自動ダウンロードします。

使用方法

# インストール
brew install rapid-mlx

# 直接チャット
rapid-mlx chat

# または他のアプリに提供（OpenAI 互換エンドポイント）
rapid-mlx serve qwen3.5-4b-4bit
# → http://localhost:8000/v1

# または事前設定されたコーディングエージェントを起動
rapid-mlx launch claude-code

カスタム OpenAI/Anthropic エンドポイントを受け入れる任意のクライアントは、localhost:8000 を指すだけでローカルモデルを使い始めることができます。

注意点

• ハードウェアロックイン — M シリーズ Mac（Apple Silicon）が必要。Windows/Linux ビルドはありません。メモリが重要です。小型の 4 ビットモデルは約 8–12 GB のユニファイドメモリで動作します。大型モデルは 32–96 GB 必要です。
• パフォーマンスの主張はベンダー測定 — README のベンチマークは特定の Mac（例：Mac Studio M5 Max、Mac mini M4 Pro）での単一実行比較であり、実際の速度はハードウェア、電源状態、同時実行数によって異なります。
• 活発に開発中 — Apache 2.0 ライセンス、CI、頻繁なリリース、コミュニティベンチマークプログラム。

評価

実質的でよく設計されたローカル推論プロジェクトであり、Apple Silicon 上でコーディングエージェント向けに LLM を競争力のある速度で実行するという実際の課題に取り組んでいます。デュアル API 互換性とツール呼び出しへの焦点により、既存のエージェントツールとのプラグアンドプレイが異常に簡単です。