ml-explore/mlx-swift-lm

解决的问题

为开发者提供一个 Swift 包，用于构建使用大型语言模型（LLM）和视觉语言模型（VLM）的应用程序，这些模型专门针对 MLX Swift 框架进行了优化。

工作原理

该项目提供了一个通用 API（MLXLLMCommon）以及针对 LLM（MLXLLM）、VLM（MLXVLM）和嵌入模型（MLXEmbedders）的具体实现。它通过协议遵循集成了各种分词器和模型下载包，使开发者能够从 Hugging Face 等来源加载模型。它还包含一个桥接器（MLXFoundationModels），用于将 MLX 模型与 Apple 的 FoundationModels 框架集成，以及一个语法约束生成工具（MLXGuidedGeneration），确保输出遵循特定模式（如 JSON 或 EBNF）。

目标受众

在 Apple 平台上构建 AI 驱动工具和应用的 Swift 开发者，希望利用 MLX 进行高效的模型推理和微调。

亮点

• 同时支持 LLM 和视觉语言模型（VLM）。
• 具备低秩（LoRA）和完整模型微调能力，包括对量化模型的支持。
• 语法约束生成，强制模型输出符合特定 JSON 模式或 EBNF。
• 与 Apple 的 FoundationModels API 集成，可用于 LanguageModelSession。
• 与各种分词器和下载器包灵活集成。