magnitudedev/magnitude

해결하는 문제

Magnitude는 사전 컴파일된 커널에서 벗어나 로컬 LLM 추론의 성능 격차를 해결합니다. 광범위한 하드웨어 클래스에서 작동하는 범용 커널을 사용하는 대신, 사용자 기기의 특정 칩에 맞게 모델 실행을 최적화하여 속도와 메모리 효율성을 극대화합니다.

작동 방식

Magnitude는 모델이 실행되기 전에 사용자의 하드웨어에서 직접 커널을 컴파일하고 튜닝하는 추론 엔진입니다. 인기 있는 오픈 가중치 모델 제품군을 위한 수동 최적화 커널을 제공하며, 동시 세션 중 속도를 유지하기 위해 공유 접두사 캐시를 활용합니다. 통합 CLI가 포함된 데스크톱 애플리케이션으로 제공됩니다.

대상 사용자

macOS, Windows 또는 Linux에서 Apple Silicon, NVIDIA, AMD GPU 또는 CPU를 사용하여 오픈 가중치 모델을 로컬에서 실행하려는 개발자와 사용자, 그리고 이러한 모델을 Cline, Claude Code 또는 Pi와 같은 기존 AI 에이전트와 통합하려는 사용자를 대상으로 합니다.

주요 특징

• 하드웨어별 튜닝: 범용 엔진보다 더 나은 성능을 위해 기기에서 커널을 컴파일하고 튜닝합니다.
• 크로스 플랫폼 지원: Apple Silicon, NVIDIA, AMD 및 CPU 전용 설정에서 작동합니다.
• 성능 향상: llama.cpp보다 최대 2배 빠른 성능을 주장하며, 특히 Metal에서 92%, CUDA에서 19% 더 빠른 디코딩을 언급합니다.
• 에이전트 통합: 다양한 에이전트를 위한 원클릭 연결 및 다른 도구를 위한 OpenAI 호환 API를 제공합니다.
• 리소스 효율성: 에이전트당 메모리 사용량을 27% 줄이고 에이전트가 비활성 상태일 때 메모리를 해제합니다.

SUMMARY: 특정 하드웨어에서 커널을 컴파일하고 튜닝하여 llama.cpp보다 최대 2배 빠르게 오픈 가중치 모델을 실행하는 오픈 소스 추론 엔진입니다.

TITLE: 로컬 모델 속도를 극대화하기 위해 기기에서 커널을 최적화하는 오픈 소스 추론 엔진