waybarrios/vllm-mlx

해결하는 문제

vllm-mlx는 Apple Silicon 맥에 특화된 고처리량 추론 서버입니다. macOS에서 vLLM 스타일의 서빙 경험을 제공하며, 기본적인 로컬 LLM 러너에서 흔히 빠지는 고급 메모리 관리 및 배치 기술을 제공하면서, 단일 프로세스에서 텍스트, 이미지, 비디오, 오디오를 포함한 다양한 멀티모달 모델을 지원합니다.

작동 방식

이 프로젝트는 MLX 프레임워크와 Metal 커널을 활용하여 Apple의 통합 메모리 아키텍처를 활용합니다. vLLM에서 영감을 받은 몇 가지 핵심 최적화 기술을 구현했습니다:

• 연속 배치 처리: 여러 요청을 동시에 처리하여 처리량을 증가시킵니다.
• 페이지 기반 KV 캐시: 메모리를 효율적으로 관리하고 프리픽스 공유를 가능하게 합니다.
• 프리픽스 캐시: 트라이 기반 시스템을 사용해 요청 간 공통 프롬프트 프리픽스를 공유합니다.
• SSD 티어드 캐시: 프리픽스 캐시를 디스크로 스필링하여 긴 컨텍스트 에이전트를 지원합니다.

OpenAI 및 Anthropic용 호환 API를 노출하여, 많은 로컬 개발 환경에서 해당 서비스의 즉시 대체가 가능합니다.

대상 사용자

Apple Silicon(M1부터 M5까지)을 사용하는 개발자 및 AI 연구자로서, 높은 성능, 높은 동시성, 기존 AI SDK 및 코드 에이전트(Claude Code 또는 GitHub Copilot CLI 등)와의 호환성을 갖춘 로컬에서 멀티모달 모델을 실행해야 하는 분들입니다.

주요 특징

• 이중 API 지원: OpenAI /v1/* 및 Anthropic /v1/messages 엔드포인트에 대한 네이티브 지원.
• 멀티모달 기능: 단일 서버에서 LLM, 비전 모델(Gemma 3, Qwen3-VL 등), 오디오(TTS 및 STT), 임베딩을 모두 지원.
• 고급 메모리 관리: 긴 컨텍스트 작업을 위한 페이지 기반 KV 캐시 및 SSD 티어드 캐시 기능.
• 네이티브 가속: 모델 변환 단계 없이 MLX 기반으로 Apple Silicon의 GPU를 직접 가속화.
• 관측성: 내장된 Prometheus 메트릭과 프롬프트 스위프트용 벤치마킹 도구 제공.