Epistates/pmetal
PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA fine-tuning, serving, quantization, and MLX/Metal acceleration.
What it solves
PMetal은 Apple Silicon을 위해 특별히 설계된 종합 머신러닝 플랫폼입니다. 저수준 GPU/ANE 최적화, 모델 학습, macOS 배포를 위한 통합 툴 스위트를 제공함으로써 Apple 생태계를 떠나지 않고도 고성능 AI 개발이 가능하도록 합니다.
How it works
Rust로 작성된 PMetal은 20개의 특화된 crate로 구성된 모듈식 아키텍처를 활용해 Apple의 Metal GPU와 Neural Engine(ANE)에 직접 인터페이스합니다. FlashAttention 및 결합 커널과 같은 핵심 연산에는 커스텀 Metal 셰이더를 사용해 하드웨어 효율성을 극대화합니다. 플랫폼은 다양한 사용자 요구에 맞춰 여러 인터페이스를 제공합니다:
- Desktop GUI: Tauri와 Svelte로 만든 시각적 모델 관리 및 학습 애플리케이션.
- Terminal TUI: 메트릭 모니터링 및 실행 설정이 가능한 기능 풍부한 컨트롤 센터.
- CLI: 파인튜닝, 양자화 등 작업을 빠르게 실행할 수 있는 커맨드라인 도구.
- SDKs: Rust와 Python용 임베드 가능한 라이브러리로, 다른 애플리케이션에 기능을 통합 가능.
- Multi-Mac Cluster: mDNS와 Thunderbolt/Ethernet을 이용해 여러 Mac을 연결, 공유 학습 및 추론을 구현하는 분산 시스템.
Who it’s for
- AI 연구원 및 개발자: Apple Silicon에서 전체 스택 ML 환경이 필요한 사람.
- Rust 및 Python 개발자: 고성능 ML 기능을 자체 앱에 통합하고 싶은 사람.
- Mac 파워 유저: GUI 또는 TUI를 사용해 로컬에서 LLM을 파인튜닝, 병합, 양자화하고 싶은 사람.
Highlights
- Deep Hardware Integration: M1부터 M5 칩까지 네이티브 지원, ANE 통합 및 UltraFusion 토폴로지 인식 포함.
- Extensive Training Suite: SFT, LoRA, QLoRA, DoRA, GRPO 및 지식 증류 지원.
- Broad Model Support: Llama, Qwen, DeepSeek, Mistral, Gemma, Phi 등 다양한 모델과 호환.
- Advanced Model Ops: 모델 병합(14가지 전략), GGUF 양자화, LoRA 융합을 위한 내장 도구.
- Distributed Computing: Thunderbolt 인식 클러스터링을 통해 다중 머신 gradient all‑reduce 학습을 구현.