Apple MLX 分散推論 on Mac Studio: Muse Spark Open 816B が 4 台の Mac で毎秒 36 トークン以上を達成
Apple の ML 研究チームは、Mac Studio 上での MLX と RDMA を用いたローカルおよび分散型大規模 LLM 推論に関する記事を公開しました。見出しとなる結果は、M5 Ultra を搭載した 4 台の Mac Studio のクラスタ上で、ほぼ 1 兆パラメータのモデルである Muse Spark Open が毎秒 36 トークン以上を生成するというもので、これは平均的な人間の読書速度をはるかに上回ります。また、分散機能は、macOS 26.2 および MLX v0.30.1 以降で導入された Thunderbolt 5 上の低遅延 RDMA に依存しています。
この記事では、Apple シリコン向けのオープンソース配列フレームワークである MLX が、統合メモリを活用することで、研究者がフロンティアクラスのモデルをプライベート環境でローカルに実行できるようにする方法について説明しています。これは、M5 アーキテクチャとその GPU ニューラルアクセラレータに関する以前の Apple ML の記事に続くものです。
Apple がベンチマークした 3 つのモデル
Apple は、MLX LM パッケージと mlx_lm.benchmark ツールを使用して、幅広いサイズ範囲にわたる 3 つのフロンティアクラスのモデルを評価しました。Muse Spark Open は、推論時にエキスパートの一部（したがってパラメータの一部）のみをアクティブにする混合エキスパート（MoE）モデルであり、計算量を削減します。Mistral Medium 3.5 と Qwen 3.8 は、推論時にすべてのパラメータがアクティブになる高密度アーキテクチャです。
| モデル | 総パラメータ数 | アクティブパラメータ数 | ネイティブ精度 | 評価精度 |
|---|---|---|---|---|
| Muse Spark Open | 816B | 42B | BF16 | NVFP4 |
| Mistral Medium 3.5 | 128B | 128B | FP8 | FP8 |
| Qwen 3.8 | 27B | 27B | BF16 | BF16 |
Mistral Medium 3.5 と Qwen 3.8 は、ネイティブの浮動小数点精度で評価されました。Muse Spark Open は 4 ビットの NVFP4 精度で評価されました。
単一の Mac Studio: M5 Ultra 対 M3 Ultra
512GB の統合メモリを搭載した単一の Mac Studio では、M5 Ultra は、前世代の M3 Ultra と比較して、最初のトークンまでの時間（TTFT）が最大 4.6 倍高速です。Apple はこれを、M5 世代の GPU ニューラルアクセラレータに起因するとしています。このアクセラレータは、専用の行列乗算演算をサポートしています。TTFT は計算バウンドであるため、専用の行列乗算ハードウェアは、プレフィルの高速化に直接つながります。
一方、デコード速度はメモリ帯域幅バウンドです。M5 Ultra を搭載した Mac Studio は、M3 Ultra の 819 GB/s から向上した 1.2 TB/s の統合メモリ帯域幅を備えており、Apple はその結果、トークン生成が 1.6 倍高速になると報告しています。
Qwen 3.8 27B と Mistral Medium 3.5 128B はどちらも、512GB の単一の Mac Studio に余裕を持って収まり、65,536 トークンの大規模コンテキスト設定では、それぞれ最大 68GB と 158GB を占有します。
ピーク消費電力は数百ワットに留まる
Apple は、65,536 トークンのコンテキストでの Qwen 3.8 および Mistral Medium 3.5 の推論中のピーク消費電力について、M3 Ultra 搭載 Mac Studio で約 200W、M5 Ultra 搭載 Mac Studio で約 300W と報告しています。Apple はこれを「一般的なトースターが使用する電力の一部」と表現し、控えめな消費電力であるため、Mac Studio はあらゆる家庭やオフィス環境で AI 作業に展開できると主張しています。
Muse Spark Open が 1 台のマシンに収まらない理由
Muse Spark Open は、ネイティブの BF16 精度では、モデルパラメータだけで 1.6TB 以上の RAM を必要とします。4 ビットの NVFP4 形式では、メモリフットプリントは約 493GB に低下しますが、推論中の中間計算に必要なメモリを追加すると、モデルは依然として単一のマシンに収まりません。複数の Mac Studio コンピュータにわたる並列化が必要です。
パイプライン並列化: モデルを深さ方向に分割
パイプライン並列化では、モデルの半分を 1 台の Mac Studio に、残りの半分を別の Mac Studio に格納します。最初のマシンがモデルの前半のレイヤーを実行し、その出力を 2 台目のマシンに送信して、2 台目のマシンが後半のレイヤーを実行します。Apple は、この方式は実装が非常に簡単で、コードの変更は最小限で済むと説明しています。
パイプライン並列化でのデコード速度は、レイヤーが依然として順次評価され、2 つのレイヤーセット間で中間出力のみを交換する必要があるため、単一マシンと非常に似ています。注目すべき例外は非常に大きなコンテキストです。65,536 トークンでは、パイプライン並列化はプレフィルで単一ノードよりも最大約 1.8 倍高速です。MLX は大きなコンテキストをより小さなチャンク（Apple のベンチマークでは 8,192 トークン、--prefill-step-size 8192 で設定）に分割し、マシン間でプレフィルをパイプライン処理するため、2 台目のマシンがチャンク k の後半のレイヤーを計算している間に、1 台目のマシンはチャンク k + 1 の前半のレイヤーを計算します。
テンソル並列化: モデルを幅方向に分割
テンソル並列化は、モデルの幅を複数のコンピュータに分散します。各マシンはすべてのレイヤーの一部を保持するため、レイヤーごとの計算が並列化されます。Apple は、これはパイプライン並列化よりも実装が複雑で、多くの小さな通信操作が含まれると指摘しています。各入力トークンと各レイヤーについて、入力をブロードキャストし、出力を集約する必要があります。そのため、MLX jaccl によってサポートされる Thunderbolt RDMA のような非常に低遅延の通信が、このアプローチが速度向上をもたらすために重要です。
Apple は、高密度アーキテクチャは MoE モデルよりも複数のコンピュータにわたってより良くスケールすると報告しています。マシンの台数が少ない場合、テンソル並列化の通信オーバーヘッドは、非常に大きなコンテキストでの計算上の利点の一部を相殺する可能性がありますが、これはプレフィルの場合のみです。これは Muse Spark Open で顕著で、エキスパートの出力を個別に正規化するとプレフィル通信が追加され、65,536 トークンでは 2 マシンのテンソル並列化が 2 マシンのパイプライン並列化に遅れを取るほどです。このアプローチは、マシンを追加するにつれて効果を発揮します。4 台の M5 Ultra が最良の結果をもたらします。デコードは影響を受けず、Muse Spark Open は、大きなコンテキストでもテンソル並列化の下で高密度モデルに匹敵する大幅なデコード高速化を維持します。
Apple が報告したベンチマーク結果
最初のトークンまでの時間（秒）、低いほど良い:
| モデル | M3 Ultra | M5 Ultra | 2 M5 パイプライン | 2 M5 テンソル | 4 M5 テンソル |
|---|---|---|---|---|---|
| Muse Spark Open | — | — | 8.4 | 8.2 | 4.8 |
| Mistral Medium 3.5 | 95.9 | 24.6 | 24.5 | 14.4 | 7.5 |
| Qwen 3.8 | 18.2 | 4.1 | 4.1 | 3.1 | 1.7 |
デコード速度（トークン/秒）、高いほど良い:
| モデル | M3 Ultra | M5 Ultra | 2 M5 パイプライン | 2 M5 テンソル | 4 M5 テンソル |
|---|---|---|---|---|---|
| Muse Spark Open | — | — | 15.74 | 24.99 | 36.73 |
| Mistral Medium 3.5 | 4.95 | 7.70 | 7.70 | 13.69 | 23.37 |
| Qwen 3.8 | 12.46 | 19.69 | 19.44 | 33.27 | 50.89 |
Muse Spark Open は単一のマシンには収まらないため、そのベースラインは 2 台の M5 Ultra パイプライン構成です。デコード速度は、コンテキストに続いて生成された 128 トークンにわたって測定されました。
リンクあたり 2 本の Thunderbolt ケーブルでプレフィル時間が短縮
Apple のセットアップでは、Mac Studio は 2 本の Thunderbolt ケーブルで接続され、リンク帯域幅を 2 倍にしています。65,536 トークンのコンテキストで 4 台の M5 Ultra 上の Muse Spark Open の場合、リンクあたり 2 本のケーブルにより、TTFT は 1 本のケーブルでの約 50.5 秒から 40.6 秒に短縮されました。これは TTFT テーブルに報告されている 2 本のケーブルの値であり、1 本のケーブルの実行は追加の実験です。
分散ジョブとローカルエージェントサーバーの起動方法
MLX は、複数のノードにわたってジョブを起動するためのヘルパーコマンドである mlx.launch を提供します。パイプライン並列ベンチマークの実行は次のようになります:
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.benchmark --model mistralai/Mistral-Medium-3.5-128B -p 8192 -g 128 -b 1 --prefill-step-size 8192 --pipeline
--backend jaccl は RDMA Thunderbolt ドライバーバックエンドを選択します。--env MLX_METAL_FAST_SYNCH=1 は、Thunderbolt 通信を開始する CPU と計算を実行する GPU の間の通信オーバーヘッドを削減する、高速 CPU-GPU 同期のための実験的な MLX 機能を有効にします。
ローカルエージェントコーディングの場合、mlx_lm.server の前に mlx.launch を付けて、複数の Mac Studio にわたって計算を並列化できます:
mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080
Apple は、OpenCode エージェントコーディングツールを、baseURL: http://127.0.0.1:8080/v1 を使用した OpenAI 互換プロバイダー構成を通じてそのローカルサーバーに向ける方法を示しています。
Hacker News の議論が追加するもの
この記事に関する Hacker News のスレッドには 123 件のコメントが寄せられ、最も有用な投稿は祝賀的というよりは懐疑的でした。
ベンチマーク比較が最も鋭い批判を集めた
最も実質的な批判は、モデル間の精度の不一致に関するものです。あるコメンターは、Apple が「Meta のモデルを 4 ビットでベンチマークし、Qwen をネイティブ BF16 のみでベンチマークすることで、Qwen をかなり不利にしている」と主張しました。同じコメンターは、4 ビットは「ほとんどのユーザーが選ぶ量子化ではない」と付け加え、Muse Spark Open は「512 GB の M5 を手にした場合に検討するトップ 10 のモデルにも入らない。クラスタでも同様だ」と述べました。別のコメンターはモデル自体についてより率直でした:「他の 300B モデルよりもはるかに性能が劣る 800B モデル。まあ...」
コストと価値に関する質問がスレッドの残りを支配した
複数のコメンターが、この記事を高価なハードウェアのマーケティングと見なしました。ある人は次のように書きました:「つまり、Meta はオープンウェイトモデルの構築に何百万ドル/何十億ドルも費やし、その後人々は Apple に 2 万ドルを支払ってそれらを実行する。Apple にとっては良い取引のようだ。」別の人はこれを製品発表のシグナルと読み取りました:「今月後半に発売される非常に高価な Mac をアップセルする準備をしているのだろう。」3 人目はコストの障壁を直接指摘しました:「これは方向性を示す良い記事だ。Mac Studio は今後ますます強力になるだろうが、今のところローカルセットアップには高すぎる。」
より楽観的なコメンターは長期的な視点を取りました:「今のところ Mac Studio は予算向けデバイスではなく、補助金付きサブスクリプションよりも確かにコストがかかるが、いつかこれらのモデルをコモディティハードウェアで実行できるという約束はエキサイティングだ。」
コメンターは代替ハードウェアの結果を報告
あるコメンターは、Apple シリコン上の他のモデルに関する独立した数値を提供しました:「256GiB の単一 M5 Ultra は DeepSeek 4.1 Flash 0910 を問題なく実行します（プレフィル約 3200 tok/s、デコード約 45 tok/s）。128GiB の M5 Max は GLM 5.3 Flash も問題なく実行します。」彼らは、MathArena Apex や GPQA Diamond などの品質ベンチマークで両方をベンチマークし、品質が公式数値と一致することを確認したと付け加えました。
コンテキストサイズとフレーミングに関する苦情
あるコメンターは、見出しの 15〜36 トークン/秒の数値が 8,192 トークンのコンテキストで測定されたものであると指摘しました:「最近では、それでは実用的なコンテキストとしては不十分だ。」別の人は、4 台のマシンのクラスタをデスクセットアップとしてフレーミングすることに異議を唱え、Apple 自身の「デスクから直接」モデルを実行するという言葉を引用し、「正確には平均的な『デスク』ではないが、それでも素晴らしい」と述べました。3 人目は、この記事がコード参照以外で Meta の名前を挙げずに Meta の技術について議論していると観察しました。あるコメンターはまた、文体にフラグを立てました:「私は -- ダッシュ -- でいっぱいの -- 記事 -- が大好きです。」
重要なポイント
- Apple の MLX 分散推論スタックは、42B のアクティブパラメータを持つ 816B パラメータの MoE モデルである Muse Spark Open を、M5 Ultra を搭載した 4 台の Mac Studio で毎秒 36 トークン以上で実行します。
- 分散機能は、macOS 26.2 で導入された Thunderbolt 5 上の RDMA と、
jaccl通信コレクティブを追加する MLX v0.30.1 以降に依存しています。 - パイプライン並列化はモデルを深さ方向に分割し、デコード速度を本質的に変更しませんが、65,536 トークンのコンテキストではプレフィルを最大約 1.8 倍高速化します。
- テンソル並列化はモデルを幅方向に分割し、高密度アーキテクチャでより良くスケールし、リンクあたり 2 本の Thunderbolt ケーブルから大幅に恩恵を受けます。
- M5 Ultra の GPU ニューラルアクセラレータは、M3 Ultra よりも TTFT が最大 4.6 倍高速で、1.2 TB/s の統合メモリ帯域幅（819 GB/s に対して）によりデコードが 1.6 倍高速です。
- 65,536 トークンのコンテキストでの推論中のピーク消費電力は、M3 Ultra で約 200W、M5 Ultra で約 300W です。
- Hacker News スレッドで最も強い批判は、Apple が Muse Spark Open を 4 ビット NVFP4 でベンチマークした一方で、Qwen 3.8 をネイティブ BF16 でベンチマークし、モデル間の比較が不均一になっているというものです。
Sources
関連
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch