jundot/omlx

解決する課題

oMLXは、Apple Silicon搭載Mac上で大規模言語モデル (LLMs) や視覚言語モデル (VLMs) をローカル実行するための、専用かつ高性能な環境を提供します。メモリ、コンテキストキャッシュ、モデルの切り替えを管理するサーバーを提供することで、使いやすさと技術的な制御の間の一般的なトレードオフを解消し、すべてをメニューバーインターフェースから操作可能です。

仕組み

このソフトウェアは、モデルのライフサイクルとメモリを管理するローカルサーバーとして機能します。階層型キャッシュシステムを採用しており、「ホット」層は頻繁に使用されるデータをRAMに保持して高速化し、「コールド」層はコンテキストをSSDにオフロードするため、サーバー再起動後も過去の会話コンテキストを再利用できます。複数のリクエストに対する連続バッチ処理をサポートし、監視、HuggingFaceからのモデルダウンロード、メモリ制限やエイリアスなどのモデルごとの設定を行うための管理ダッシュボードを提供します。

対象ユーザー

コーディング、ツール呼び出し、研究のためにローカルAIモデルを実行する必要があるmacOS上の開発者やパワーユーザー向けに設計されています。特に、ローカルモデルを Claude Code などのツールと統合したい場合や、単一の安定した環境で複数のモデルタイプ（テキスト、視覚、埋め込み、リランキング）を管理する必要があるユーザーに最適です。

ハイライト

• 階層型 KV キャッシュ: RAMが一杯になると自動的にコンテキストをSSDにオフロードし、セッション間でのメモリの永続化を実現します。
• ネイティブ macOS 統合: 監視と制御のための SwiftUI メニューバーアプリを搭載し、Apple Shortcuts もサポートしています。
• 幅広いモデルサポート: LLMs、VLMs、OCR、埋め込みモデル、リランカーを自動検出して処理します。
• 管理ダッシュボード: リアルタイムのパフォーマンスベンチマーク、モデル管理、チャットのための組み込みWeb UIを提供します。
• API 互換性: OpenAI および Anthropic API のドロップイン代替品を提供し、既存のAIツールへの接続を容易にします。
• 効率的なリソース管理: LRU（Least Recently Used）エビクション、モデルのピン留め、システム全体のメモリ強制適用機能を備え、クラッシュを防止します。