jjang-ai/vmlx

해결하는 문제

vMLX는 Apple Silicon(M1/M2/M3/M4)에 특화된 자체 호스팅 추론 서버로, 사용자가 대규모 언어 모델(LLM), 시각 언어 모델(VLM), 이미지 생성 모델을 제3자 API 키 없이 로컬에서 실행할 수 있도록 합니다.

작동 방식

MLX 프레임워크를 활용하여 OpenAI, Anthropic, Ollama 호환 HTTP API를 제공합니다. 시스템은 메모리 인식 프리픽스 캐시와 디스크 캐시를 포함한 고도화된 5계층 캐시 아키텍처를 사용하며, 연속 배치, 사전 추론, 프롬프트 검색 추론과 같은 고급 추론 기법을 지원하여 성능을 최적화합니다. 또한 분산 추론을 지원하여 모델을 네트워크 연결(Turbo, 이더넷, WiFi)을 통해 여러 맥에 나누어 실행할 수 있습니다.

대상 사용자

Apple Silicon 맥을 사용하고 있으며, 텍스트, 이미지, 오디오 AI 작업에 대해 클라우드 API의 고성능 로컬 대안을 원하는 개발자 및 AI 연구자.

주요 특징

• 광범위한 모델 지원: 텍스트 LLM, 비전 모델, 멀티모달 옴니 모델, MoE 아키텍처를 포함한 모든 MLX 모델을 실행 가능.
• 분산 컴퓨팅: 파이프라인 병렬 처리를 통해 여러 맥에서 대규모 모델을 실행 가능.
• L2 디스크 캐시: 프롬프트 캐시를 SSD에 지속적으로 저장하여 서버 재시작 후에도 즉시 응답 가능.
• 다중 API 호환성: OpenAI, Anthropic, Ollama의 와이어 포맷을 네이티브로 지원.
• 통합 데스크톱 앱: GUI 기반 채팅 인터페이스, 모델 관리, 개발자 도구를 제공하는 MLX Studio 포함.
• 고급 양자화: JANG 적응형 혼합 정밀도를 지원하여 낮은 비트 폭에서도 높은 품질 유지.