ml-explore/mlx-swift-lm

해결하는 문제

MLX Swift LM은 대규모 언어 모델(LLM) 및 시각 언어 모델(VLM)을 사용하는 애플리케이션 제작을 단순화하기 위해 설계된 Swift 패키지입니다. MLX Swift 프레임워크를 사용하여 Apple 하드웨어에서 이러한 모델을 로드, 실행 및 미세 조정하는 데 필요한 인프라를 제공합니다.

작동 방식

이 패키지는 LLM 및 VLM을 위한 공통 API와 다양한 모델 아키텍처의 예제 구현을 제공합니다. 프로토콜 준수를 통해 토크나이저 및 모델 다운로드 패키지와 통합되어 개발자가 다양한 통합 방법을 선택할 수 있습니다. 또한 문법 제약 생성(JSON Schema 또는 EBNF)을 위한 전문 라이브러리와 표준화된 API 사용을 위한 Apple의 FoundationModels 프레임워크 브릿지도 포함되어 있습니다.

대상 사용자

효율적인 로컬 모델 실행을 위해 MLX를 활용하고자 하는 macOS, iOS 및 visionOS용 AI 기반 도구 및 앱을 구축하는 Swift 개발자.

주요 특징

• 모델 로딩: 다양한 토크나이저 및 모델 다운로드 패키지에 대한 통합 지원.
• 미세 조정: LoRA(Low-rank Adaptation) 및 전체 모델 미세 조정을 모두 지원하며, 양자화된 모델도 지원합니다.
• 아키텍처 지원: 광범위한 LLM 및 VLM 아키텍처에 대한 구현을 포함합니다.
• 가이드 생성: 모델 출력이 JSON과 같은 특정 스키마를 따르도록 보장하는 문법 제약 생성 기능을 제공합니다.
• FoundationModels 브릿지: MLX 모델을 Apple의 FoundationModels.LanguageModel로 브릿지하여 LanguageModelSession에서 사용할 수 있도록 합니다.