ml-explore/mlx-swift-lm

解決的問題

MLX Swift LM 是一個旨在簡化使用大型語言模型 (LLM) 與視覺語言模型 (VLM) 建立應用程式的 Swift 套件。它提供了使用 MLX Swift 框架在 Apple 硬體上載入、執行與微調這些模型所需的基礎設施。

工作原理

此套件為 LLM 與 VLM 提供通用的 API，並包含各種模型架構的範例實作。透過協定一致性，它與 tokenizer 與模型下載套件整合，允許開發者在不同的整合方法之間進行選擇。它還包含用於語法約束生成 (JSON Schema 或 EBNF) 的專用函式庫，以及連接到 Apple FoundationModels 框架的橋接器，以實現標準化的 API 使用。

適用對象

想要利用 MLX 進行高效本地模型執行的 macOS、iOS 與 visionOS AI 驅動工具及應用程式 Swift 開發者。

亮點

• 模型載入：對各種 tokenizer 與模型下載套件提供整合支援。
• 微調：支援低秩適配 (LoRA) 與全模型微調，包括對量化模型的支援。
• 架構支援：包含廣泛的 LLM 與 VLM 架構實作。
• 引導生成：提供語法約束生成，確保模型輸出遵循特定的模式（如 JSON）。
• FoundationModels 橋接：將 MLX 模型橋接到 Apple 的 FoundationModels.LanguageModel，以便與 LanguageModelSession 配合使用。