raullenchai/Rapid-MLX

무엇인가?

Rapid-MLX는 Apple Silicon Mac(M1–M4) 전용으로 설계된 로컬 AI 추론 서버입니다. Qwen과 같은 오픈 가중치 LLM을 로드하여 완전히 사용자 자신의 머신에서 실행하며, 표준화된 OpenAI 및 Anthropic 호환 API를 노출하여 코딩 에이전트(Codex CLI, Claude Code, Aider 등)가 클라우드 API의 드롭인 대체품으로 사용할 수 있습니다. 코드가 Mac을 떠나지 않습니다.

Apple의 MLX 머신러닝 프레임워크를 기반으로 구축되었으며, 주요 판매 포인트는 속도입니다. README는 동일한 모델과 가중치로 Apple의 참조 mlx-lm 서버보다 최대 4배 빠른 디코딩(일반적인 작업에서 1.5배)을 주장합니다. README의 벤치마크 표는 Qwen 모델에서 oMLX 및 LM Studio와 같은 대안을 능가함을 보여줍니다.

주요 기능

• 이중 API 호환성 — OpenAI 채팅 API(/v1/chat/completions, /v1/responses)와 Anthropic Messages API를 모두 지원하므로 대부분의 기존 클라이언트 도구가 어댑터 없이 작동합니다.
• 에이전트용 도구 호출 — 모델 출력에서 구조화된 도구/함수 호출을 추출하기 위한 27개의 파서 모듈과 자동 감지 폴백을 제공합니다. 이것이 핵심 사용 사례입니다: 코딩 에이전트를 위한 안정적인 함수 호출입니다.
• 성능 엔지니어링 — 동시 요청을 위한 연속 배치, radix 접두사 캐시(요청 간 반복 프롬프트 접두사 최적화)로 재시작 후에도 디스크에 영구 저장, 양자화된 KV 캐시.
• 다중 런타임 — CLI, macOS 데스크톱 앱(채팅, 모델 관리, 비전, 파일용 GUI), HTTP 서버.
• 텍스트를 넘어서 — 이미지 생성(예: FLUX, SDXL, Stable Diffusion 3.5), 이미지 편집, 비전 모델 포함. 오디오(TTS/STT) 및 임베딩은 선택적 추가 기능입니다.
• 모델 카탈로그 — 선별된 별칭(예: qwen3.5-4b-4bit)과 다운로드 크기, RAM 요구 사항, 권장 기본값을 제공합니다. 첫 실행 rapid-mlx chat는 스타터 모델(약 3GB)을 자동 다운로드합니다.

사용 방법

# 설치
brew install rapid-mlx

# 직접 채팅
rapid-mlx chat

# 또는 다른 앱에 제공(OpenAI 호환 엔드포인트)
rapid-mlx serve qwen3.5-4b-4bit
# → http://localhost:8000/v1

# 또는 사전 설정된 코딩 에이전트 시작
rapid-mlx launch claude-code

사용자 지정 OpenAI/Anthropic 엔드포인트를 허용하는 모든 클라이언트는 localhost:8000을 가리키고 로컬 모델을 사용할 수 있습니다.

주의 사항

• 하드웨어 잠금 — M 시리즈 Mac(Apple Silicon) 필요. Windows/Linux 빌드는 없습니다. 메모리가 중요합니다: 소형 4비트 모델은 약 8–12GB 통합 RAM에서 실행됩니다. 대형 모델은 32–96GB가 필요합니다.
• 성능 주장은 공급업체 측정 — README의 벤치마크는 특정 Mac(예: Mac Studio M5 Max, Mac mini M4 Pro)에서의 단일 실행 비교이므로 실제 속도는 하드웨어, 전원 상태, 동시성에 따라 다릅니다.
• 활발히 개발 중 — Apache 2.0 라이선스, CI, 빈번한 릴리스, 커뮤니티 벤치마크 프로그램.

평가

실질적이고 잘 설계된 로컬 추론 프로젝트로, Apple Silicon에서 코딩 에이전트용 LLM을 경쟁력 있는 속도로 실행하는 실제 문제를 해결합니다. 이중 API 호환성과 도구 호출에 대한 초점은 기존 에이전트 도구와 비정상적으로 플러그 앤 플레이가 쉽게 만듭니다.