ml-explore/mlx-swift-lm

解決する課題

MLX Swift LMは、大規模言語モデル（LLM）および視覚言語モデル（VLM）を使用したアプリケーションの作成を簡素化するために設計されたSwiftパッケージです。MLX Swiftフレームワークを使用して、Appleハードウェア上でこれらのモデルをロード、実行、およびファインチューニングするために必要なインフラストラクチャを提供します。

仕組み

このパッケージは、LLMおよびVLMのための共通APIを提供し、さまざまなモデルアーキテクチャの例実装を同梱しています。プロトコル適合を通じてトークナイザーおよびモデルダウンロードパッケージと統合されており、開発者は異なる統合方法を選択できます。また、文法制約付き生成（JSON SchemaまたはEBNF）のための専用ライブラリや、標準化されたAPI使用のためのAppleの FoundationModels フレームワークへのブリッジも含まれています。

対象者

効率的なローカルモデル実行のためにMLXを活用したい、macOS、iOS、およびvisionOS向けのAI搭載ツールやアプリを構築しているSwift開発者。

ハイライト

• モデルのロード: さまざまなトークナイザーおよびモデルダウンロードパッケージへの統合サポート。
• ファインチューニング: 低ランク適応（LoRA）とフルモデルのファインチューニングの両方をサポートし、量子化モデルにも対応しています。
• アーキテクチャのサポート: 幅広いLLMおよびVLMアーキテクチャの実装が含まれています。
• ガイド付き生成: モデルの出力がJSONなどの特定のスキーマに従うことを保証する、文法制約付き生成を提供します。
• FoundationModels ブリッジ: MLXモデルをAppleの FoundationModels.LanguageModel にブリッジし、LanguageModelSession での使用を可能にします。