Epistates/pmetal

해결하는 문제

PMetal은 Apple Silicon 전용으로 설계된 포괄적인 머신러닝 플랫폼입니다. 고성능 ML 작업을 위해 Apple 생태계를 떠나야 할 필요 없이, Metal GPU 커널과 Apple Neural Engine(ANE)을 활용해 모델 학습, 피니튜닝, 추론을 통합된 도구 세트로 제공합니다.

작동 방식

Rust로 작성된 PMetal은 임베디드 가능한 SDK와 도구 세트로 작동합니다. MLX C++ 브리지와 사용자 정의 Metal 커널과 통합되어 M 시리즈 칩에서 최적의 성능을 발휘합니다. 다음 세 가지 주요 인터페이스를 통해 접근 가능합니다:

• 데스크톱 GUI: Tauri와 Svelte 기반의 시각적 모델 관리 및 학습용 애플리케이션.
• 터미널 TUI: 20개 탭의 제어 센터로 심층적인 설정과 모니터링이 가능합니다.
• CLI: 학습, 추론, 양자화 작업을 빠르게 실행하기 위한 명령줄 인터페이스.

또한 Thunderbolt, 이더넷, Wi-Fi를 통해 여러 맥을 '홈 클러스터'로 연결하여 분산 학습을 지원하며, 자동으로 루프 구조를 형성해 그래디언트 all-reduce 연산을 수행합니다.

대상 사용자

• Apple 하드웨어에서 모델을 학습하고 피니튜닝하고 싶은 ML 엔지니어 및 연구자.
• 고성능 ML 기능을 자체 애플리케이션에 통합하고 싶은 Rust 및 Python 개발자.
• 로컬 LLM 관리, 양자화, 모델 병합을 GUI 또는 TUI로 원하는 Apple Silicon 사용자.

주요 특징

• 풀스택 도구 세트: pretraining, SFT, LoRA, QLoRA, distillation, 추론 등 ML 라이프사이클의 모든 단계에 GUI, TUI, CLI를 제공합니다.
• 하드웨어 최적화: M1부터 M5까지의 칩 패밀리를 자동 감지하고, 기기 등급(Base, Pro, Max, Ultra)에 따라 커널 파라미터를 자동 조정합니다.
• 분산 학습: Thunderbolt 인식 클러스터링을 통해 다수 맥 간 분산 학습을 지원하며, 자동으로 패브릭 백업을 수행합니다.
• 광범위한 모델 지원: Llama, Qwen, DeepSeek, Mistral, Gemma, Phi 등 다양한 아키텍처를 지원합니다.
• 고급 기법: GRPO 추론 학습, 지식 증류, 사전 추론(DFlash), 다양한 모델 병합 전략(SLERP, TIES, DARE)을 구현합니다.