ml-explore/mlx-swift-lm

解决的问题

MLX Swift LM 是一个旨在简化使用大语言模型 (LLM) 和视觉语言模型 (VLM) 创建应用程序的 Swift 软件包。它提供了使用 MLX Swift 框架在 Apple 硬件上加载、运行和微调这些模型所需的底层架构。

工作原理

该软件包为 LLM 和 VLM 提供通用的 API，并包含各种模型架构的示例实现。通过协议一致性，它与分词器 (tokenizer) 和模型下载包集成，允许开发者在不同的集成方法之间进行选择。它还包括用于语法约束生成 (JSON Schema 或 EBNF) 的专用库，以及连接到 Apple FoundationModels 框架的桥接器，以实现标准化的 API 使用。

适用对象

想要利用 MLX 进行高效本地模型执行的 macOS、iOS 和 visionOS AI 驱动工具及应用 Swift 开发者。

亮点

• 模型加载：对各种分词器和模型下载包提供集成支持。
• 微调：支持低秩适配 (LoRA) 和全模型微调，包括对量化模型的支持。
• 架构支持：包含广泛的 LLM 和 VLM 架构实现。
• 引导生成：提供语法约束生成，确保模型输出遵循特定的模式（如 JSON）。
• FoundationModels 桥接：将 MLX 模型桥接到 Apple 的 FoundationModels.LanguageModel，以便与 LanguageModelSession 配合使用。