Epistates/pmetal

PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA fine-tuning, serving, quantization, and MLX/Metal acceleration.

What it solves

PMetal 是一個專為 Apple Silicon 設計的完整機器學習平台。它透過提供低階 GPU/ANE 最佳化、模型訓練與 macOS 部署的統一工具套件，消除必須離開 Apple 生態系統才能進行高效能 AI 開發的需求。

How it works

以 Rust 撰寫，PMetal 採用 20 個專門化 crate 的模組化架構，直接與 Apple 的 Metal GPU 與 Neural Engine (ANE) 介面。它使用自訂 Metal shader 來執行 FlashAttention 與融合 kernel 等關鍵運算，以最大化硬體效能。平台提供多種介面以符合不同使用者需求：

  • Desktop GUI：使用 Tauri 與 Svelte 建置的視覺化模型管理與訓練應用程式。
  • Terminal TUI：功能豐富的控制中心，可監控指標與設定執行參數。
  • CLI：命令列工具，快速執行微調、量化等任務。
  • SDKs：可嵌入的 Rust 與 Python 函式庫，讓其他應用程式整合這些功能。
  • Multi-Mac Cluster：使用 mDNS 與 Thunderbolt/Ethernet 連結多台 Mac，實現共享訓練與推論的分散系統。

Who it’s for

  • AI 研究員與開發者：在 Apple Silicon 上需要完整堆疊的機器學習環境。
  • Rust 與 Python 開發者：希望將高效能機器學習功能整合至自家應用程式。
  • Mac 高階使用者：想要在本機使用 GUI 或 TUI 進行 LLM 的微調、合併或量化。

Highlights

  • Deep Hardware Integration：原生支援 M1 至 M5 晶片，包含 ANE 整合與 UltraFusion 拓撲感知。
  • Extensive Training Suite：支援 SFT、LoRA、QLoRA、DoRA、GRPO 與知識蒸餾。
  • Broad Model Support：相容 Llama、Qwen、DeepSeek、Mistral、Gemma、Phi 等多種模型。
  • Advanced Model Ops：內建模型合併（14 種策略）、GGUF 量化與 LoRA 融合工具。
  • Distributed Computing：支援 Thunderbolt 感知的叢集，實現多機梯度 all‑reduce 訓練。