Epistates/pmetal

解決的問題

PMetal 是專為 Apple Silicon 設計的完整機器學習平台。它無需離開 Apple 生態系統即可執行高效率的 ML 任務，透過整合低階 Metal GPU 內核與 Apple Neural Engine (ANE)，提供統一的模型訓練、微調與推論工具套件。

運作方式

PMetal 使用 Rust 寫成，作為可嵌入的 SDK 與一組工具運作。它與 MLX C++ 橋接及自訂 Metal 內核整合，以在 M 系列晶片上實現最佳效能。平台可透過三種主要介面存取：

• 桌面 GUI：基於 Tauri 與 Svelte 的視覺化模型管理與訓練應用程式。
• 終端 TUI：20 個標籤頁的控制中心，用於深度設定與監控。
• CLI：用於快速執行訓練、推論與量化任務的命令列介面。

同時支援透過 Thunderbolt、乙太網路或 Wi-Fi 在多台 Mac 上建構「家庭叢集」進行分散式訓練，並自動形成環狀結構以執行梯度 all-reduce 操作。

適用對象

• 希望在 Apple 硬體上訓練與微調模型的 ML 工程師與研究人員。
• 希望透過提供的 SDK 將高效率 ML 功能整合至自身應用的 Rust 與 Python 開發者。
• 希望使用 GUI 或 TUI 管理本地 LLM、量化與模型合併的 Apple Silicon 使用者。

主要特色

• 全棧工具鏈：涵蓋 ML 生命週期各階段（預訓練、SFT、LoRA、QLoRA、蒸餾與推論）的 GUI、TUI 與 CLI。
• 硬體優化：自動偵測晶片系列（M1 至 M5），並根據裝置等級（Base、Pro、Max、Ultra）調整內核參數。
• 分散式訓練：支援 Thunderbolt 感知的叢集，實現多 Mac 分散式訓練，並具備自動網路備援功能。
• 廣泛模型支援：支援 Llama、Qwen、DeepSeek、Mistral、Gemma 與 Phi 等多種架構。
• 進階技術：實作 GRPO 推理訓練、知識蒸餾、推測解碼（DFlash）以及多種模型合併策略（SLERP、TIES、DARE）。