M4 Pro Mac Mini でのローカル LLM のセットアップ

Apple Silicon 上のローカル LLM インフラ

48GB の統合メモリを搭載した M4 Pro Mac Mini 上でローカル LLM サーバーを実行することで、クラウド API に依存せずに日常の約 80% のタスクを処理できるプライベートでコストが予測可能な AI バックエンドを構築できます。このセットアップでは oMLX を推論に、Tailscale を安全な跨デバイスネットワーキングに、Mixture-of-Experts (MoE) モデルと密なモデルを組み合わせることで、推論の深さとシステムパフォーマンスのバランスを図っています。

ハードウェアとソフトウェアスタック

このセットアップの核となるのは、常に稼働するサーバーとして機能する M4 Pro Mac Mini (48GB RAM) です。ソフトウェアスタックは、迅速なデプロイと跨デバイスアクセスを目的として設計されています。

  • 推論サーバー: oMLX。HuggingFace ブラウザと SSD への KV キャッシュ永続化を内蔵した管理ダッシュボードを提供し、エージェントワークフローにおける再計算時間を短縮します。
  • ネットワーキング: Tailscale。公開インターネットにポートを公開せずに、Mac Mini を iPhone と MacBook と接続するプライベートメッシュネットワーク（tailnet）を構築します。
  • 主要モデル:
    • Qwen3.6-35B-A3B-OptiQ-4bit: 複雑な推論と深さに使用。MoE モデルであるため、合計パラメータ数は 35B だが、1トークンあたりアクティブなパラメータは 3B に過ぎません。
    • Gemma-4-E4B-it-OptiQ-4bit: ルーティンなフォーマット処理やシンプルなチャットタスクに使用される軽量モデル。
  • クライアントインターフェース:
    • Hermes: Mac Mini 上で実行されるエージェントバックエンド。MacBook のデスクトップクライアントと iOS の Telegram からアクセス可能。
    • Apollo (iOS): oMLX エンドポイントを介して、Claude に似た即席のクエリを迅速に実行するためのツール。
    • Raycast AI: macOS に統合され、雑多なタスクに使用。
    • Pi: 専用のコーディングエージェントとして利用。

ローカルモデルのメモリ管理

効果的なローカル LLM デプロイには、特に Mixture-of-Experts (MoE) アーキテクチャにおいて、合計パラメータ数とアクティブパラメータ数の違いを理解することが不可欠です。

密なモデル vs. MoE のメモリフットプリント

密なモデルでは、すべてのパラメータがすべてのトークンでアクティブになります。つまり、4ビット量子化された 27B モデルは、重みのためだけに約 14GB の RAM を必要とします。一方、Qwen3.6-35B-A3B のような MoE モデルは、合計パラメータ数が 35B ですが、1トークンあたりアクティブなパラメータは 3B にすぎません。すべての 35B パラメータは統合メモリに常駐する必要があり（4ビットで約 20GB）、推論時の GPU/メディアメモリフットプリントは、6B の密なモデルに似た水準に抑えられます。

ハードウェア互換性チェックリスト

特定の Apple Silicon ハードウェアにモデルが収まるかどうかを判断するには、以下の計算が推奨されます：

  1. 量子化済みファイルサイズ: 4ビットモデルは、パラメータ数にほぼ等しいギガバイト単位で表されます（例：35B ≈ 17–20GB）。
  2. OS オーバーヘッド: macOS に 6–8GB を差し引きます。
  3. コンテキストウィンドウ: 長い会話に対応するため、KV キャッシュに 8–16GB を割り当てます。
  4. バッファ: システムが SSD にスワップするのを防ぐため、10–15% のメモリバッファを確保します。

ローカル推論の戦略的利点

クラウド API からローカルコンピューティングへ移行することで、複数の運用および財務リスクに対処できます。

  • AI 主権とプライバシー: ローカルハードウェアにより、第三者によるデータ漏洩のリスクが排除され、政府によるモデル制限や API 利用規約の突然の変更からも保護されます。
  • コストの予測可能性: ローカル推論は、トークン単位の変動料金を、ハードウェア購入費と電気代という定額に置き換えます。
  • パフォーマンス: ネットワークの往復遅延がなくなるため、日常的なタスクのレイテンシが低くなります。M4 Pro のメディアエンジンにより、ほとんどのプロンプトに対してほぼ瞬時に応答できます。
  • レート制限なし: ローカルコンピューティングにより、有料 API タイアの一般的な制限が解消されます。

コミュニティの知見とパフォーマンスベンチマーク

M4 Pro は非常に高性能ですが、コミュニティの議論から、パフォーマンスやハードウェアの限界に関するいくつかのニュアンスが浮き彫りになっています。

パフォーマンスデータ

M1 Max (32GB) を使用し、oMLX で同様のセットアップを行っているユーザーが報告したトークン生成 (TG) とプロンプト処理 (PP) の速度は以下の通りです：

  • Qwen3.6-35B-A3B-OptiQ-4bit: PP 342.6 tok/s、TG 44.4 tok/s。
  • Qwen3.6-35B-A3B-mxfp4: PP 389.6 tok/s、TG 47.6 tok/s。
  • Qwen3.8-27B-4bit: PP 66.3 tok/s、TG 11.8 tok/s。

反論と制限

このセットアップを試みるユーザーの多くが、以下の重要な点を指摘しています：

"ローカルで大規模モデルを実行するかどうかは、実際のメモリ使用量にかかっています。完全に正しいとは言えません。メモリとメモリ帯域幅の両方が重要です。1TBのメモリがあっても、メモリ帯域幅が悪ければ、トークン/秒も遅くなります。"

他のユーザーは、ローカルモデルが日常の 80% のタスクには優れているものの、Apple Silicon では専用の H100/B300 クラスターよりもプリフィル遅延が依然としてボトルネックになる可能性があると指摘しています。また、ローカルモデルのフロントエンドとして Telegram を使用する際のプライバシー上の利点についても疑問が呈されています。Telegram ボットアカウントはエンドツーエンド暗号化ではないためです。

Sources

関連