lmstudio-ai/mlx-engine
LM Studio Apple MLX engine
해결하는 문제
macOS용 LM Studio를 위한 고성능 LLM 엔진을 제공하여, 사용자가 Apple Silicon에서 최적화된 성능으로 대규모 언어 모델 및 비전 모델을 로컬에서 실행할 수 있도록 합니다.
작동 방식
이 엔진은 Apple MLX 프레임워크를 기반으로 구축되었으며, 텍스트 생성에는 mlx-lm, 비전 모델 추론에는 mlx-vlm, 구조화된 출력을 위해 Outlines를 활용합니다. Mac용 LM Studio(버전 0.3.4 이상)에 직접 통합되어 있지만, Python을 통한 독립형 데모 사용도 지원합니다.
대상 사용자
Apple의 최적화된 MLX 프레임워크를 사용하여 LM Studio 생태계 내에서 로컬 LLM 및 비전 모델을 실행하고자 하는 Mac 사용자.
관련
- 프로젝트
jjang-ai/mlxstudioApple Silicon에서 MLX 프레임워크를 사용해 로컬에서 LLM, VLM 및 이미지 생성 모델을 실행하는 네이티브 macOS 데스크톱 앱.
- 프로젝트
jjang-ai/vmlxApple Silicon(M1/M2/M3/M4) 전용 자체 호스팅 추론 서버로, LLM, VLM, 이미지 생성 모델을 로컬에서 실행하기 위한 OpenAI, Anthropic, Ollama 호환 API를 제공합니다.
- 프로젝트
Blaizzy/mlx-vlmMLX를 사용하여 Mac에서 비전 언어 모델 및 옴니 모델의 추론과 미세 조정을 수행하는 패키지로, 멀티모달 입력과 추측 디코딩을 지원하여 생성 속도를 높입니다.
- 프로젝트
ml-explore/mlx-lmMLX 프레임워크를 사용하여 Apple 실리콘에 최적화된 텍스트 생성 및 대규모 언어 모델(LLM) 파인튜닝을 위한 Python 패키지입니다.
- 프로젝트
vllm-project/vllm-metalvLLM Metal은 MLX/Metal 백엔드를 사용하여 Apple Silicon Mac에서 vLLM LLM 서빙 시스템을 실행할 수 있게 해주는 플러그인입니다. Metal 최적화 어텐션 커널(페이징 가변 길이, M5 NAX 프리필)을 제공하며 Qwen-3.8-27B와 같은 대규모 모델을 지원합니다. Homebrew 또는 curl 스크립트로 설치한 후 macOS 15+에서 일반 `vllm` 명령을 사용합니다.