MacBook 與專用 GPU 本地 LLM 推論的比較

核心取捨：記憶體容量 vs. 計算速度

在 Apple Silicon MacBook 與專用 NVIDIA GPU 之間選擇本地大型語言模型（LLM）執行，主要是 模型大小（VRAM） 與 推論速度（每秒 token 數） 之間的取捨。

MacBook：高容量、較低速度

Apple Silicon MacBook 採用統一記憶體架構，讓 GPU 能存取大量系統 RAM。這使得它們實質上是「擁有龐大顯示記憶體的慢速 GPU」。

• 主要優勢： 能執行非常大的模型，這些模型若在傳統企業級 GPU 上需要多張昂貴的卡。例如，配備 128 GB RAM 的 MacBook 可以使用 llama swap 等工具同時載入巨型模型或多個模型。
• 主要劣勢： 計算吞吐量（FLOPs）遠低於 NVIDIA 硬體。使用者回報說，雖然可以跑大模型，但產生速度慢，且因預填效能不佳，「第一個 token 的時間」(latency) 很高。
• 最適合： 喜歡玩弄、開發，或需要在本地執行大型模型以保護隱私或敏感資料、且不想持續支付雲端費用的使用者。

專用 GPU（NVIDIA/CUDA）：高速度、較低容量

專用 GPU 依賴 CUDA 核心與高頻寬 VRAM，提供遠超的計算效能，但模型大小受限於卡上可用的 VRAM。

• 主要優勢： Token 產生極快，預填幾乎即時。高階 NVIDIA GPU（例如 RTX 5090）在每秒 token 數（TG/s）與提示處理速度（PP/s）上遠超 M 系列晶片。
• 主要劣勢： VRAM 限制。消費級卡通常最高 24 GB，意味著大型模型必須大量量化或卸載，會降低品質。要執行「嚴肅」模型往往需要多張 RTX 3090/4090 或昂貴的專業卡（RTX 6000 Ada）才能突破 96 GB+ VRAM 門檻。
• 最適合： 需要高效能的應用、模型微調，以及利用成熟 CUDA 生態系統進行電腦視覺或其他機器學習任務的使用者。

效能基準與硬體建議

硬體選擇取決於具體的模型大小與期望的使用者體驗。

效能比較

一位使用者在不同硬體上執行 Qwen 3.6 35B（Q4 量化）時，報告了明顯的速度差異：

• M5（16 核，48 GB）： 約 80 token/秒（TG/s）與 1900 提示處理（PP/s）。
• NVIDIA 5090： 約 280 token/秒（TG/s）與 7800 提示處理（PP/s）。

推薦的「甜點」

• 預算入門： 一台配備 32 GB RAM 的翻新 Mac mini 被視為低功耗、靜音的長時間任務選擇。
• 「AI 實驗者」性價比： 二手 16 吋 MacBook Pro，搭載 M1 Max 晶片與 64 GB 共享 RAM。可在相對低成本下支援約 48 GB 大小的模型。
• 高階本地配置： 配備多張 NVIDIA 3090（每張 24 GB）的工作站，對於願意處理多 GPU 與獨立電源供應複雜性的使用者，提供最佳的效能／成本比。

本地 vs. 雲端替代方案

對許多人而言，選擇的焦點不在 Mac 與 PC 之間，而是在本地硬體與雲端基礎設施之間。

何時選擇本地

當處理敏感、醫療或個人資料，且雲端供應商的隱私保證不足時，需要本地執行。它也能避免因大量迭代開發而產生的 API 「token 消耗」成本。

何時選擇雲端

對於沒有 24/7 工作負載的使用者，建議使用雲端 GPU（如 vast.ai）。若以速度與最先進（SOTA）效能為優先，且資料隱私條款可接受，則 Gemini、Claude 或 OpenAI 等雲端服務往往是最有效的選擇。

"我的 5 千美元 MacBook 能做到 5 萬美元的 NVIDIA/Intel/AMD 設備能做到的事，只是速度較慢。所以如果你想在本地工作、使用大量/多模型或追求速度，需要自行決定哪項對你更重要。"

摘要比較表

功能	MacBook（Apple Silicon）	專用 GPU（NVIDIA/CUDA）
記憶體存取	統一記憶體（系統 RAM）	專屬 VRAM
模型大小	可執行極大模型（受 RAM 限制）	受 VRAM 限制（除非多 GPU）
推論速度	較慢（較低 FLOPs）	非常快（高頻寬）
延遲	較高（預填較慢）	較低（近即時）
生態系	整合、靜音、節能	CUDA（機器學習業界標準）
理想使用情境	大模型玩弄與隱私保護	高速、微調與生產環境

---

摘要：在 MacBook 與專用 GPU 之間選擇 LLM 執行平台，取決於你是更看重透過統一記憶體執行巨型模型的能力，還是 CUDA 核心提供的高速 token 產生。

標題：MacBook 與專用 GPU 本地 LLM 推論的比較