Magnitude: 로컬 AI 에이전트를 위한 자기 최적화 추론 엔진

Magnitude는 커널을 특정 하드웨어에 맞게 튜닝하여 추론을 최적화합니다

Magnitude는 AI 에이전트를 위해 특별히 설계된 오픈 소스 추론 엔진으로, 사용자의 기기에서 직접 커널을 컴파일하고 튜닝하여 하드웨어 활용도를 극대화하는 데 중점을 둡니다. 광범위한 하드웨어 클래스에 대해 미리 컴파일된 커널을 제공하는 범용 엔진과 달리, Magnitude는 사용 중인 특정 칩에 맞춰 커널을 최적화하며, 개발자들은 이를 통해 llama.cpp 대비 최대 2배의 성능 향상을 얻을 수 있다고 주장합니다.

주요 성능 주장

Magnitude는 다양한 하드웨어 백엔드에서 llama.cpp 대비 상당한 속도 향상을 보고합니다:

  • Apple Silicon (Metal): 디코드 92% 향상, 프리필 9% 향상.
  • NVIDIA (CUDA): 디코드 19% 향상, 프리필 23% 향상.

단순 속도를 넘어, Magnitude는 에이전트 워크로드를 위해 다음과 같은 몇 가지 아키텍처 최적화를 구현했습니다:

  • 공유 프리픽스 캐싱(Shared Prefix Caching): 여러 동시 세션이 프리픽스 캐시를 공유하여 병렬 작업 중 성능 저하를 방지합니다.
  • 메모리 효율성: 이 엔진은 에이전트당 27% 적은 메모리를 사용하며 에이전트가 비활성 상태일 때 메모리를 해제합니다.
  • 수동 최적화 커널: 가장 인기 있는 오픈 웨이트 모델 제품군을 위해 특정 커널을 작성하여 범용 엔진보다 뛰어난 성능을 발휘합니다.

하드웨어 및 소프트웨어 호환성

Magnitude는 크로스 플랫폼 및 하드웨어 독립적으로 설계되었으며, 다양한 로컬 컴퓨팅 환경을 지원합니다:

  • 운영 체제: macOS, Windows, Linux.
  • 하드웨어: Apple Silicon, NVIDIA GPU, AMD GPU 및 CPU 전용 구성.
  • 통합: 이 엔진은 OpenAI 호환 API를 제공하며 Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline을 포함한 인기 에이전트와의 원클릭 연결을 지원합니다.

커뮤니티 피드백 및 기술적 비판

출시 이후 많은 관심을 받았지만, Hacker News의 기술 사용자들은 실제 성능과 다른 전문 엔진 대비 위치 선정에 관해 몇 가지 지적을 제기했습니다.

벤치마킹 및 기준점

일부 사용자는 Apple Silicon에서 llama.cpp가 낮은 성능 기준점이라고 주장하며, MLX(Apple 자체 프레임워크)가 더 적절한 벤치마크라고 제안했습니다.

"Mac에서 제가 원하는 기준은 llama.cpp가 아니라 MLX입니다. llama.cpp는 대부분의 사용자가 로컬에서 실행하는 모델에 대해 Apple Silicon에서 가장 빠른 경로가 아니므로, llama.cpp보다 빠르더라도 mlx_lm보다 느릴 수 있습니다." — @handle

사용자들이 공유한 독립적인 테스트 결과는 엇갈렸습니다. M5 Max를 사용하는 한 사용자는 MLX가 디코드 속도와 첫 토큰 생성 시간(TTFT) 모두에서 여전히 Magnitude를 능가했다고 보고했습니다. M5 Pro를 사용하는 다른 사용자는 Magnitude가 토큰 생성 속도(82.8 tok/s vs oMLX 76.5 tok/s)에서는 더 빨랐지만, 프리필 시간은 상당히 느렸다(709 tok/s vs 1843 tok/s)고 언급했습니다.

에이전트 워크로드 병목 현상

비평가들은 에이전트의 경우, 단순 디코드 속도보다 대규모 시스템 프롬프트와 도구 스키마를 처리하는 효율성이 더 중요할 때가 많다고 지적했습니다.

  • 프리픽스 캐싱: 사용자들은 Magnitude의 자기 최적화가 요청 간 프리픽스 캐시 재사용을 포함하는지 의문을 제기했습니다. 이는 매번 도구 정의를 다시 보내는 오버헤드를 피하는 데 필수적입니다.
  • KV 캐시 관리: 대규모 컨텍스트 크기(100K-200K 토큰)에서 VRAM 사용량에 대한 우려가 제기되었으며, 일부 엔진은 이 수준에서 성능이 저하됩니다.
  • 동시 에이전트를 위한 KV 캐시: 일부 사용자는 로컬 멀티 에이전트 시스템의 주요 병목 현상이 제한된 VRAM에서 여러 개의 128k 컨텍스트를 동시에 실행할 때 발생하는 KV 캐시 용량 문제라고 지적했습니다.

하드웨어 감지 및 안정성

일부 초기 사용자들은 하드웨어 감지 및 모델 로딩과 관련된 문제를 보고했습니다:

  • GPU 감지: 듀얼 NVIDIA GPU를 사용하는 한 사용자는 엔진이 4개의 GPU를 감지하고 이를 올바르게 활용하지 못했다고 보고했습니다.
  • 호환성: 저사양 하드웨어(예: 16GB RAM 또는 4GB GPU)를 사용하는 사용자들은 "Discover" 섹션에 호환되는 소형 모델이 부족하다고 보고했습니다.
  • 시스템 인식: Intel Core Ultra 프로세서와 NVIDIA RTX PRO GPU가 탑재된 Windows 사용자는 소프트웨어가 하드웨어를 전혀 감지하지 못했다고 보고했습니다.

Sources

관련

  • Dispatch
    macOS에서 Gemma 4와 llama.cpp를 사용하여 로컬 코딩 에이전트 설정하기

    llama.cpp, Gemma 4 26B, 그리고 Pi 에이전트 하네스를 사용하여 macOS에서 로컬 코딩 에이전트를 배포하는 방법을 배우십시오. Multi-Token Prediction (MTP)를 통해 최대 72.2 tokens per second를 달성할 수 있습니다.

  • Dispatch
    Apple Silicon macOS VMs: Accelerating LLM Inference with Metal Capability Shim

    Cua는 Metal GPU 기능 보고를 수정하여 macOS Virtualization.framework VM에서 LLM 추론 속도를 11-16배 향상시키는 연구용 심(shim)을 공개했습니다.

  • Dispatch
    로컬 추론 최적화: DeepSeek 4 Flash Metal 엔진 심층 분석

    Apple Metal을 위한 DeepSeek 4 Flash 전용 로컬 추론 엔진에 대한 탐구로, 하드웨어 특화 최적화로의 전환과 대규모 컨텍스트 처리의 과제에 대해 강조합니다.

  • 프로젝트
    magnitudedev/magnitude

    하드웨어를 프로파일링하여 특정 머신에 가장 적합한 오픈 모델을 추천하고 최적화하는 오픈소스 추론 엔진입니다.

  • 프로젝트
    mizorewww/laya-mlx

    Laya‑MLX는 MLX를 통해 Apple‑silicon GPU에서 Convai Innovations의 Laya 의사결정 모델을 로컬로 실행하는 Python 라이브러리입니다. PyTorch나 클라우드 호출 없이도 15ms 미만의 타입 기반 결정 추론(선택, 점수, 이진)을 제공하며, 사전 변환된 FP16 체크포인트, 간단한 `laya.load(...).predict` API, 터미널 Snake 데모, 변환 도구, 광범위한 벤치마크를 포함합니다. 라이선스는 Apache‑2.0입니다.