Epistates/pmetal

PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA fine-tuning, serving, quantization, and MLX/Metal acceleration.

What it solves

PMetal 是一个专为 Apple Silicon 设计的综合机器学习平台。它通过提供低层 GPU/ANE 优化、模型训练以及 macOS 部署的统一工具套件，消除必须离开 Apple 生态系统才能进行高性能 AI 开发的需求。

How it works

使用 Rust 编写，PMetal 利用 20 个专门化 crate 的模块化架构，直接与 Apple 的 Metal GPU 和 Neural Engine (ANE) 接口。它使用自定义 Metal 着色器来执行 FlashAttention 和融合 kernel 等关键操作，以最大化硬件效率。平台提供多种接口以满足不同用户需求：

  • Desktop GUI：基于 Tauri 与 Svelte 的可视化模型管理与训练应用。
  • Terminal TUI：功能丰富的控制中心，用于监控指标和配置运行。
  • CLI：命令行工具，快速执行微调、量化等任务。
  • SDKs：可嵌入的 Rust 与 Python 库，便于在其他应用中集成这些能力。
  • Multi-Mac Cluster：使用 mDNS 与 Thunderbolt/Ethernet 连接多台 Mac，实现共享训练和推理的分布式系统。

Who it’s for

  • AI 研究员和开发者：在 Apple Silicon 上需要全栈机器学习环境。
  • Rust 与 Python 开发者：希望将高性能机器学习功能集成到自己的应用中。
  • Mac 高级用户：想要在本地使用 GUI 或 TUI 对 LLM 进行微调、合并或量化。

Highlights

  • Deep Hardware Integration：原生支持 M1 到 M5 芯片，包括 ANE 集成和 UltraFusion 拓扑感知。
  • Extensive Training Suite：支持 SFT、LoRA、QLoRA、DoRA、GRPO 与知识蒸馏。
  • Broad Model Support：兼容 Llama、Qwen、DeepSeek、Mistral、Gemma、Phi 等模型。
  • Advanced Model Ops：内置模型合并（14 种策略）、GGUF 量化和 LoRA 融合工具。
  • Distributed Computing：支持 Thunderbolt 感知的集群，实现多机梯度 all‑reduce 训练。