ml-explore/mlx-lm

解決する課題

MLX LMは、Appleシリコン上で大規模言語モデル（LLM）のテキスト生成とファインチューニングを効率的かつ手軽に行えるように設計されています。Macハードウェア上でLLMをローカル実行するプロセスを簡素化し、大規模モデル向けの量子化、分散推論、メモリ管理のためのツールを提供します。

仕組み

このパッケージはMLXフレームワークを活用し、Appleシリコン上でのLLM演算を最適化します。Hugging Face Hubと直接統合されており、数千もの事前学習済みモデルをダウンロードして使用できます。テキスト生成、チャット、モデル変換のためのPython APIとコマンドラインインターフェース（CLI）を提供します。

主な技術的機能は以下の通りです：

• 量子化 (Quantization)：モデルを変換・量子化（例：4-bit）し、メモリフットプリントを削減するツール。
• メモリ最適化：回転固定サイズのキーバリュー（KV）キャッシュとプロンプトキャッシュを使用し、長いプロンプトや生成を効率的に処理します。
• HDI 分散推論：mx.distributed を介した分散推論とファインチューニングのサポート。
• ファインチューニング：低ランク適応（LoRA）およびフルモデルのファインチューニングをサポート（量子化モデルを含む）。

対象ユーザー

Appleシリコン搭載のMacを使用し、LLMをローカルで高性能に実行、ファインチューニング、デプロイしたい開発者やAI研究者。

ハイライト

• Hugging Face統合：単一のコマンドで数千ものLLMに簡単にアクセス可能。
• プロンプトキャッシュ：同じ長いコンテキストを使用する繰り返しのクエリを大幅に高速化。
• 量子化ツール：モデルを量子化し、Hugging Face Hubにアップロードするための組み込み機能。
• 柔軟なAPI：クイックスタート用の高レベルCLIと、ストリーミング生成やカスタムサンプリング用の詳細なPython APIの両方を提供。
• Appleシリコン最適化：macOSのメモリ管理とハードウェアアクセラレーションに特化して調整済み。