ddalcu/mlx-serve

해결하는 문제

mlx-serve는 Apple Silicon Mac을 위한 고성능 로컬 추론 서버로, Python이나 클라우드 의존성을 제거합니다. MLX와 GGUF 형식을 모두 지원하고 단일 포트에서 여러 산업 표준 API(OpenAI, Anthropic, Ollama)를 노출하여, 분산된 모델 형식과 API 호환성 문제를 해결합니다.

작동 방식

네이티브 Zig 바이너리로 구축된 이 서버는 MLX와 내장된 llama.cpp를 통합하여 다양한 LLM 및 멀티모달 모델을 실행합니다. 커스텀 Metal 커널, 연속 배치(continuous batching), 그리고 네 가지 유형의 추측 디코딩(PLD, 드래프트 컴패니언, Gemma 4 드래프터, Qwen MTP)을 활용하여 Apple 하드웨어에서 디코딩 속도를 극대화합니다. 이 프로젝트에는 모델 관리, 채팅, 에이전트 오케스트레이션을 위한 macOS 메뉴바 앱(MLX Core)도 포함되어 있습니다.

대상 사용자

Apple Silicon Mac을 사용하는 개발자와 AI 애호가로, 기존 코딩 에이전트(Claude Code, Cursor, Zed 등) 및 기타 AI 도구와 원활하게 통합되는 빠르고 가벼운 로컬 LLM 서버를 원하는 사람들을 대상으로 합니다.

주요 특징

• 멀티 형식 지원: HuggingFace의 모든 MLX 형식 모델과 모든 GGUF 모델을 실행합니다.
• 통합 API: 단일 포트에서 OpenAI, Anthropic Messages, Ollama API를 지원합니다.
• 멀티모달 기능: 이미지, 비디오, 음악, 음성(음성 복제 포함), 3D 모델의 네이티브 생성.
• 고성능: 동일한 MLX 가중치를 사용하여 LM Studio보다 디코딩 속도가 빠릅니다.
• 에이전트 준비: 내장 에이전트 루프, MCP 도구 호출, 안전한 에이전트 셸 실행을 위한 샌드박스 Linux VM.
• Python 제로: 단일의 작은 Zig 바이너리 또는 공증된 macOS 앱으로 제공됩니다.
• LAN 공유: Bonjour를 통해 네트워크상의 다른 Mac에서 호스팅되는 모델을 사용할 수 있습니다.