lmstudio-ai/mlx-engine
LM Studio Apple MLX engine
해결하는 문제
macOS용 LM Studio를 위한 고성능 LLM 엔진을 제공하여, 사용자가 Apple Silicon에서 최적화된 성능으로 대규모 언어 모델 및 비전 모델을 로컬에서 실행할 수 있도록 합니다.
작동 방식
이 엔진은 Apple MLX 프레임워크를 기반으로 구축되었으며, 텍스트 생성에는 mlx-lm, 비전 모델 추론에는 mlx-vlm, 구조화된 출력을 위해 Outlines를 활용합니다. Mac용 LM Studio(버전 0.3.4 이상)에 직접 통합되어 있지만, Python을 통한 독립형 데모 사용도 지원합니다.
대상 사용자
Apple의 최적화된 MLX 프레임워크를 사용하여 LM Studio 생태계 내에서 로컬 LLM 및 비전 모델을 실행하고자 하는 Mac 사용자.
관련
- 프로젝트
jjang-ai/mlxstudioApple Silicon에서 MLX 프레임워크를 사용해 로컬에서 LLM, VLM 및 이미지 생성 모델을 실행하는 네이티브 macOS 데스크톱 앱.
- 프로젝트
jjang-ai/vmlxApple Silicon용 자체 호스팅 추론 서버로, OpenAI, Anthropic, Ollama와 호환되는 API를 제공하여 로컬에서 LLM, VLM 및 이미지 생성 모델을 실행합니다.
- 프로젝트
Blaizzy/mlx-vlmMLX를 사용하여 맥에서 비전 언어 모델과 옴니 모델의 추론 및 미세조정을 위한 패키지로, 사전 추측과 다중 모달 지원 기능을 갖추고 있습니다.
- 프로젝트
ml-explore/mlx-lmApple silicon에서 MLX 프레임워크를 사용하여 텍스트 생성 및 대규모 언어 모델의 미세 조정을 수행할 수 있는 Python 패키지입니다.
- 프로젝트
vllm-project/vllm-metalA vLLM plugin that enables high-performance LLM inference on Apple Silicon Macs by using MLX as the compute backend.