jjang-ai/mlxstudio

What it solves

MLX Studio는 Apple Silicon에서 로컬로 대형 언어 모델(LLM), 비전-언어 모델(VLM) 및 이미지 생성 모델을 실행할 수 있는 네이티브 macOS 데스크톱 애플리케이션입니다. 클라우드 서비스, API 키 및 데이터 전송이 필요 없으며, 프라이빗하고 올인원인 로컬 AI 환경을 제공합니다.

How it works

vMLX Engine과 Apple의 MLX 프레임워크 위에 구축되었으며, Metal을 활용해 고성능 추론을 수행합니다. HuggingFace에서 모델을 다운로드하고, 세션을 관리하며, 채팅 인터페이스 또는 OpenAI 호환 API 서버를 통해 AI와 상호작용할 수 있는 사용자 친화적인 인터페이스를 제공합니다. 또한 JANG 어댑티브 혼합 정밀도와 같은 고급 양자화 기술을 포함해 Mac 하드웨어에서 모델 크기와 메모리 사용을 최적화합니다.

Who it’s for

Apple Silicon(M 시리즈 칩) 탑재 macOS 사용자를 위해 설계되었으며, 채팅, 코딩, 이미지 생성 또는 다른 애플리케이션을 위한 로컬 API 백엔드 등 다양한 AI 모델을 로컬에서 실행하고자 하는 사용자에게 적합합니다.

Highlights

• Extensive Model Support: 텍스트 LLM, 비전 모델, 멀티모달 omni 모델을 포함해 65개 이상의 모델 패밀리를 지원합니다.
• OpenAI & Anthropic Compatibility: OpenAI 및 Anthropic SDK용 드롭인 교체 API 서버를 제공합니다.
• Agentic Workflows: 파일 I/O, 셸 실행, 웹 검색, MCP(Model Context Protocol) 지원 등 26가지 이상의 내장 도구를 포함합니다.
• Local Image Generation: Flux와 Z-Image 모델을 통합 지원하여 로컬에서 이미지 생성 및 편집이 가능합니다.
• L5 Cache Stack: 프리픽스 및 페이지드 KV 캐시를 포함한 5계층 캐시 시스템으로 처리량과 메모리 효율을 극대화합니다.
• Advanced Quantization: JANG 어댑티브 혼합 정밀도와 "Smelt Mode"를 제공하여 MoE 모델의 부분 전문가 로딩으로 RAM을 절약합니다.
• Integrated Model Tools: 앱 내 도구를 통해 GGUF 모델을 MLX 형식으로 변환하고 다양한 양자화 작업을 수행할 수 있습니다.