ggml-org/Llama-macOS

何を解決するか

Llama は、Mac 上でローカル Large Language Models (LLMs) を実行するプロセスを簡素化する macOS メニューバー アプリです。手動での設定やインストールの複雑さを排除し、モデルの管理とローカル・プライベートな実行をユーザーに使いやすいインターフェースで提供します。

動作方法

このアプリは llama.cpp をラップするもので、http://localhost:9931/v1 でローカルサーバーを実行します。既存の llama.cpp インストールを自動検出するか、事前にビルドされたバイナリをインストールします。Hugging Face からの GGUF モデルを管理し、ユーザーの Mac のハードウェア仕様に基づいてモデルの推奨を行います。モデルは要求されたときのみメモリに読み込まれ、アイドル状態になると解放され、システムリソースを節約します。

対象ユーザー

CLI ツールの深い技術的知識が不要な macOS ユーザー、およびコーディングエージェントやその他のチャット UI 用のローカル API エンドポイントを必要とする開発者に最適です。

特徴

• 100% ローカル: データはデバイス上に残り、完全なプライバシーを確保します。
• ゼロ設定: ユーザーの Mac に最適な設定でモデルが自動的に構成されます。
• 軽量なフットプリント: ネイティブ macOS アプリで、サイズはわずか 4 MB です。
• モデルの推奨: ユーザーのハードウェアに合ったモデルの組み込み推奨機能。
• 標準的なストレージ: Hugging Face キャッシュを使用しており、他のツール（llama.cpp など）と互換性があります。
• API アクセス: 外部アプリやエージェントと接続するための標準 API を提供します。