Epistates/pmetal

PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA fine-tuning, serving, quantization, and MLX/Metal acceleration.

What it solves

PMetal は Apple Silicon 向けに設計された包括的な機械学習プラットフォームです。低レベル GPU/ANE 最適化、モデルのトレーニング、macOS へのデプロイを統合したツールスイートを提供することで、Apple エコシステムを離れることなく高性能 AI 開発が可能になります。

How it works

Rust で実装された PMetal は、20 個の専門クレートからなるモジュラーアーキテクチャを採用し、Apple の Metal GPU と Neural Engine (ANE) に直接インターフェースします。FlashAttention や融合カーネルなどの重要処理にはカスタム Metal シェーダを使用し、ハードウェア効率を最大化します。プラットフォームは利用者のニーズに合わせた複数のインターフェースを提供します：

Desktop GUI：Tauri と Svelte で構築された、モデル管理とトレーニングのビジュアルアプリ。
Terminal TUI：メトリクスの監視や実行設定ができる機能豊富なコントロールセンター。
CLI：ファインチューニングや量子化などのタスクを迅速に実行できるコマンドラインツール。
SDKs：Rust と Python の埋め込み可能なライブラリで、他のアプリケーションへの統合が可能。
Multi-Mac Cluster：mDNS と Thunderbolt/Ethernet を利用して複数の Mac を連携させ、共有トレーニングと推論を実現する分散システム。

Who it’s for

AI 研究者・開発者：Apple Silicon 上でフルスタックの機械学習環境を必要とする方。
Rust と Python の開発者：高性能な機械学習機能を自分のアプリに組み込みたい方。
Mac パワーユーザー：GUI または TUI を使ってローカルで LLM のファインチューニング、マージ、量子化を行いたい方。

Highlights

Deep Hardware Integration：M1 から M5 チップまでネイティブに対応し、ANE 統合と UltraFusion トポロジー認識を提供。
Extensive Training Suite：SFT、LoRA、QLoRA、DoRA、GRPO、知識蒸留をサポート。
Broad Model Support：Llama、Qwen、DeepSeek、Mistral、Gemma、Phi など多数のモデルに対応。
Advanced Model Ops：モデルマージ（14 種類の戦略）、GGUF 量子化、LoRA 融合の組み込みツール。
Distributed Computing：Thunderbolt 対応のクラスタリングでマルチマシンの gradient all‑reduce トレーニングを実現。