ARahim3/mlx-dspark

Up to 4× faster LLM decoding on Apple Silicon, lossless. Native MLX port of DeepSeek's DSpark & z-lab's DFlash speculative decoding — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, ternary Bonsai-27B.

mlx‑dspark とは？

mlx‑dspark は、Apple シリコン搭載 Mac 上で投機的デコーディング——テキスト生成を高速化する技術——を実行できるようにする Python パッケージ（および macOS アプリ）です。もともと DeepSeek（DSpark）と z‑lab（DFlash）によって公開された 2 つの「ドラフト生成」エンジンを搭載しています。どちらのエンジンも損失なしです。つまり、先に複数のトークンを提案し、その後で本物のモデルが各トークンを検証するため、最終的な出力は通常のデコーディングと完全に同一で、ただ速いだけです。

仕組み

投機的デコーディング：高速な「ドラフター」が短いトークン列を予測します。次に完全なモデルがそれらのトークンを確認し、すべて一致すればブロック全体が受理され、そうでなければ通常のデコーディングにフォールバックします。ドラフターは低コストなので、全体のスループットは 2‑5 倍高くなり得ます。
2 つのドラフター系統：
- DSpark——DeepSeek の DeepSpec コードベース由来の半自己回帰ドラフター。
- DFlash——z‑lab のブロック拡散ドラフター。
このパッケージは、読み込んだモデルに最適なドラフターを自動的に選びます。特定のものを強制することもできます。
初回使用時に Mac の性能を測定し、最適なドラフトサイズ（--max-draft auto）を選択します。

できること

CLI 生成——mlx-dspark generate --model <repo> --prompt "…"。
ローカル OpenAI 互換サーバー——mlx-dspark serve … は HTTP API を提供し、OpenAI（または Anthropic）API を話す任意のクライアント（Ollama、Open WebUI、SillyTavern など）で動作します。
macOS GUI アプリ——チャット、モデル管理、ライブテレメトリ、コーディング支援エージェントのワンクリック設定のためのクリック操作インターフェース。
Claude Code と Codex との統合——このサーバーは Anthropic の Claude Code または OpenAI の Codex API のバックエンドとして機能できます。

対応モデル

README には、ドラフターが事前登録され、高速化が測定されたモデルの表が掲載されています。例：

Gemma‑4 12B（8‑bit）——最大 4.24× 高速。
Qwen‑3.8‑27B（8‑bit、DFlash 2）——最大 4.22×。
MiniCPM5‑2B——最大 4.21×。
LFM2.5‑1.2B——最大 3.83×。
その他多数（Qwen、Ornith、Nemotron、Bonsai など）。表にないモデルでも「ドラフターなし」のルックアップモード（--mode auto）で実行できます。

インストールと要件

Apple Silicon 上で Python ≥ 3.10。
pip install mlx-dspark（MLX ランタイム ≥ 0.32 を自動的にインストール）。
オプションで Homebrew Cask 経由で GUI をインストールするか、releases ページから DMG をダウンロード。
追加のサーバーフレームワークは不要——HTTP API は Python 標準ライブラリ上に構築されています。

主要なコマンドラインフラグ（よく使うもの）

Flag	Purpose
`--model <repo>`	対象モデルの HF repo またはローカルパス。
`--mode auto	dspark
`--max-draft auto`	ツールが Mac に合わせてドラフト長を自動調整。
`--max-batch N`	最大 N 件の同時リクエストをバッチ処理（約 2.5 倍の総スループット）。
`--kv-bits 8`	KV キャッシュを量子化して長いコンテキストのメモリを節約。
`--api-key <key>`	localhost 以外にサーバーを公開する場合の簡単な認証。
`--trust‑remote‑code`	カスタム Python コードを含むチェックポイントの読み込みを許可。

なぜ重要か

投機的デコーディングは最先端の技術であり、消費者向け LLM を単一の Mac 上で、回答品質を犠牲にすることなく目に見えて高速化できます。標準の OpenAI／Anthropic API を提供することで、mlx‑dspark はこれらのローカルモデルを既存のツールやエージェントに簡単に組み込めるようにし、すべてをオンデバイスかつプライベートに保ちます。

上記の詳細はすべてリポジトリの README から直接引用したものです。外部情報は追加していません。