ml-explore/mlx-swift-lm

해결하는 문제

개발자가 MLX Swift 프레임워크에 최적화된 대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)을 사용하여 애플리케이션을 구축할 수 있도록 Swift 패키지를 제공합니다.

작동 방식

이 프로젝트는 공통 API(MLXLLMCommon)와 LLM(MLXLLM), VLM(MLXVLM), 임베딩 모델(MLXEmbedders)에 대한 구체적인 구현을 제공합니다. 프로토콜 준수를 통해 다양한 토크나이저 및 모델 다운로드 패키지와 통합되어 Hugging Face와 같은 소스에서 모델을 로드할 수 있습니다. 또한 MLX 모델을 Apple의 FoundationModels 프레임워크와 통합하기 위한 브리지(MLXFoundationModels)와 출력이 JSON 또는 EBNF와 같은 특정 스키마를 따르도록 하는 문법 제약 생성 도구(MLXGuidedGeneration)도 포함합니다.

대상 독자

Apple 플랫폼에서 AI 기반 도구와 애플리케이션을 구축하고 효율적인 모델 추론 및 미세 조정을 위해 MLX를 활용하려는 Swift 개발자.

주요 기능

• LLM 및 비전 언어 모델(VLM) 모두 지원.
• 저랭크(LoRA) 및 전체 모델 미세 조정 기능 모두 제공, 양자화된 모델 지원 포함.
• 문법 제약 생성을 통해 모델 출력을 특정 JSON 스키마 또는 EBNF로 강제.
• Apple의 FoundationModels API와 통합되어 LanguageModelSession에서 사용 가능.
• 다양한 토크나이저 및 다운로더 패키지와 유연하게 통합.