ml-explore/mlx-lm

해결하는 문제

MLX LM은 Apple 실리콘에서 대규모 언어 모델(LLM)의 텍스트 생성과 파인튜닝을 효율적이고 접근하기 쉽게 만들기 위해 설계되었습니다. Mac 하드웨어에서 LLM을 로컬로 실행하는 과정을 간소화하며, 대규모 모델을 위한 양자화, 분산 추론, 메모리 관리 도구를 제공합니다.

작동 방식

이 패키지는 MLX 프레임워크를 활용하여 Apple 실리콘에서 LLM 연산을 최적화합니다. Hugging Face Hub와 직접 통합되어 사용자가 수천 개의 사전 학습된 모델을 다운로드하여 사용할 수 있습니다. 텍스트 생성, 채팅, 모델 변환을 위한 Python API와 명령줄 인터페이스(CLI)를 제공합니다.

주요 기술적 특징은 다음과 같습니다:

• 양자화 (Quantization): 모델을 변환 및 양자화(예: 4-bit)하여 메모리 사용량을 줄이는 도구.
• 메모리 최적화: 회전식 고정 크기 키-값(KV) 캐시와 프롬프트 캐싱을 사용하여 긴 프롬프트와 생성 작업을 효율적으로 처리.
• HDI 분산 추론: mx.distributed를 통한 분산 추론 및 파인튜닝 지원.
• 파인튜닝: 저랭크 적응(LoRA) 및 전체 모델 파인튜닝을 지원하며, 양자화된 모델도 포함.

대상 사용자

Apple 실리콘 Mac을 사용하여 LLM을 로컬에서 고성능으로 실행, 파인튜닝 및 배포하려는 개발자 및 AI 연구원.

주요 특징

• Hugging Face 통합: 단일 명령어로 수천 개의 LLM에 쉽게 접근 가능.
• 프롬프트 캐싱: 동일한 긴 컨텍스트를 사용하는 반복적인 쿼리 속도를 크게 향상.
• 양자화 도구: 모델을 양자화하고 Hugging Face Hub에 다시 업로드하는 내장 기능.
• 유연한 API: 빠른 시작을 위한 고수준 CLI와 스트리밍 생성 및 사용자 정의 샘플링을 위한 상세한 Python API 제공.
• Apple 실리콘 최적화: macOS 메모리 관리 및 하드웨어 가속에 특화되어 튜닝됨.