youssofal/MTPLX

해결하는 문제

MTPLX는 Apple Silicon 맥에서 대규모 언어 모델(LLM)을 로컬로 실행하는 고성능 방법을 제공합니다. 표준 디코딩의 속도 제한을 극복하기 위해 다중 토큰 예측(MTP) 헤드를 활용하여 현재 위치보다 여러 토큰을 동시에 초안하고 검증함으로써, 모델 정확도를 희생하지 않고 생성 속도를 크게 향상시킵니다.

작동 방식

MTPLX는 모델 자체의 MTP 헤드를 사용하여 정확한 사전 디코더를 구현합니다. 현재 위치보다 여러 토큰을 미리 초안한 후, 단일 배치화된 순전파를 통해 이 초안을 검증합니다. 잔차 보정이 있는 정확한 거부 샘플링을 사용하여 토큰을 확정함으로써, 출력이 일반 디코딩과 완전히 동일하게 유지되도록 보장합니다. 성능 최적화를 위해 "자동 튜닝" 기능을 포함하여 맥의 특정 하드웨어(칩, 메모리 대역폭, 온도)를 측정하고, 주어진 모델에 가장 적합한 초안 깊이를 결정합니다.

대상 사용자

Qwen 3.8, Gemma 4, Ternary Bonsai 2와 같은 강력한 모델을 로컬에서 코드 작성, 채팅, 또는 OpenAI/Anthropic 호환 API를 통해 AI 에이전트를 구동하고자 하는 Apple Silicon(M1 이상)을 탑재한 macOS 사용자를 대상으로 합니다.

주요 특징

• 고속 디코딩: 고성능 M 시리즈 칩에서는 일반 디코딩 대비 최대 2.24배의 속도 향상.
• MTP 통합: Qwen 3.8 시리즈와 같은 다중 토큰 예측 헤드를 지원하는 모델에 대한 네이티브 지원.
• 포괄적인 도구 세트: 실시간 성능 대시보드를 갖춘 네이티브 맥 앱, CLI, 그리고 Hugging Face 리포지토리에서 새로운 MTP 모델을 생성하고 검증할 수 있는 "Forge" 도구 제공.
• API 호환성: OpenAI 및 Anthropic 호환 API 제공. 도구 호출, 스트리밍, Cursor, Cline, Claude Code와 같은 클라이언트와의 통합 지원.
• 효율적인 메모리 관리: 4비트, 8비트 등의 다양한 양자화 수준 지원 및 대규모 n-gram 테이블을 SSD에서 스트리밍하여 RAM 절약.