lablup/mlxcel

해결하는 문제

mlxcel은 Apple Silicon, NVIDIA CUDA, 그리고 실험적으로 AMD ROCm에서 대규모 언어 모델(LLM), 비전-언어 모델(VLM), 임베딩, 리랭커, 오디오 모델을 실행하도록 설계된 고성능 추론 엔진입니다. 요청 경로에서 Python 환경이나 인터프리터 계층을 제거하고, 프로덕션 지향 모델 서빙을 위한 네이티브 Rust 기반 런타임을 제공합니다.

작동 방식

이 프로젝트는 Rust로 CLI와 서버를 구현하며, 네이티브 MLX C++ 바인딩을 통해 MLX SafeTensors 체크포인트를 직접 실행합니다. 이 아키텍처를 통해 변환 단계 없이 HuggingFace(mlx-community 포함)에서 체크포인트를 로드할 수 있습니다. 연속 배칭, 프롬프트 접두사 캐싱, 투기적 디코딩, 분산 추론과 같은 고급 서빙 기능을 지원합니다.

대상 사용자

Apple Silicon(주요 대상) 또는 Linux/CUDA 시스템에서 AI 모델을 배포하기 위한 컴팩트하고 네이티브한 런타임이 필요한 개발자와 운영자, 그리고 로컬 또는 프로덕션 서빙을 위한 고성능 llama-server 호환 API를 찾는 사람들을 위해 구축되었습니다.

주요 특징

• 네이티브 런타임: 요청 경로에 Python이 필요 없어 배포 산출물을 네이티브 실행 파일로 간소화합니다.
• 광범위한 모달리티 지원: 텍스트 생성, 멀티모달 입력(이미지/비디오), 임베딩, 리랭킹, ASR(전사), TTS(음성 합성)를 처리합니다.
• API 호환성: llama-server와의 호환성이 검증되었으며 OpenAI, Anthropic, Vertex AI 호환 라우트를 네이티브로 지원합니다.
• 하드웨어 가속: Apple Silicon, NVIDIA CUDA, AMD ROCm(RDNA 3.5)의 실험적 지원에 최적화되었습니다.
• 고급 추론: 투기적 디코딩(MTP/DFlash), KV 캐시 압축, LRU 제거 기능이 있는 멀티모델 라우터를 포함합니다.
• 모델 수술: 스케일링, 프루닝, 보간과 같은 YAML 기반 로드 시 가중치 편집을 지원합니다.