AlexsJones/llmfit

llmfit – 機能の説明

llmfit は、どのオープンソースの大規模言語モデル（LLM）が実際にあなたのコンピュータで実行できるかを判断するのに役立つコマンドライン（およびオプションの Web）ツールです。CPU、RAM、GPU、VRAM、その他のアクセラレータを自動検出し、組み込みカタログ内のすべてのモデルを次の基準でスコアリングします：

適合性 – モデルがメモリに収まるか？
速度 – 帯域幅モデルとコミュニティベンチマークに基づく推定トークン/秒。
品質 – カタログが提供する大まかな品質ランキング。
コンテキスト – モデルがサポートする最大プロンプト長。

結果は、GGUF、AWQ、GPTQ、EXL2 などのさまざまな量子化形式を含むモデルのランキングリストであり、Ollama、llama.cpp、MLX、Docker ランナー、LM Studio などのバックエンドでローカルに実行できます。

主な機能（README より）

機能	得られるもの
ハードウェア自動検出	CPU コア、システム RAM、個別/統合 GPU、VRAM、ユニファイドメモリ（CUDA、Apple Silicon、ROCm、OneAPI）。
モデル互換性エンジン	多くの量子化形式のメモリフットプリントとトークン/秒のパフォーマンスを予測します。
インタラクティブ TUI と Web ダッシュボード	依存関係のないターミナル UI（デフォルト）または、ローカルまたは Docker で実行できるリッチな Web UI。
REST API	オーケストレーションツールやカスタムダッシュボードとの統合のための JSON エンドポイント（`/api/v1/system`、`/api/v1/models`）。
クロスプラットフォーム	macOS（Apple Silicon および Intel）、Linux（x86_64 および ARM64）、Windows（x86_64）。
コミュニティベンチマーク	自分のハードウェアで実際のベンチマークを実行し、単一のコマンドで結果を共有し、将来のリリースに組み込むことができます。
コンテナイメージ	TUI、CLI、または API を提供できるマルチアーキテクチャ Docker イメージ（`ghcr.io/alexsjones/llmfit`）。
拡張可能なモデルカタログ	ローカルまたは PR を介して新しいモデルを追加できます。カタログにはすでに多くのプロバイダーからの数百のモデルが含まれています。

典型的なワークフロー

インストール – Homebrew、Scoop、クイックインストールスクリプト、プリビルドバイナリ、または Rust/Python パッケージとして。
実行 – llmfit（または llmfit recommend）を実行して、検出されたハードウェアに互換性のあるモデルのテーブルを表示します。
探索 – TUI を使用してフィルタリング、並べ替え、詳細な適合分析の表示、または Web UI の起動。
ベンチマーク – llmfit bench は、選択したモデル/プロバイダーの実際のトークン/秒速度を測定し、--share で数値をプロジェクトに共有できます。
デプロイ – モデルを選択し、ダウンロードし、好みのローカルランタイム（例：Ollama、llama.cpp）で起動します。
自動化 – JSON 出力（llmfit recommend --json）を消費するか、REST API を呼び出してスクリプト化されたデプロイを行います。

誰が使うのか？

開発者 – LLM をローカルで実行したいが、どのサイズ/量子化が適合するか不明な場合。
研究者 – LLM ワークロード用のハードウェアを評価する場合。
運用/DevOps – ターゲットマシンに基づいてモデルを選択する必要がある自動化パイプラインを構築する場合。
愛好家 – コミュニティの推定を改善するためにベンチマークデータを提供する場合。

インストールのハイライト

Windows – scoop install llmfit
macOS / Linux – Homebrew（brew install AlexsJones/llmfit/llmfit）、MacPorts、またはワンライナー curl … | sh
Python / uv – uv tool install -U llmfit（pip でも動作）
Docker – docker run ghcr.io/alexsjones/llmfit（インタラクティブモードには --tui を追加、API/UI には serve を追加）
ソースから – cargo build --release

ライセンスと署名

このプロジェクトは MIT ライセンスでリリースされています。Windows バイナリは CI ジョブが成功すると SignPath を介して署名されます。署名が失敗した場合でも、未署名のバイナリが公開される可能性があります。

クイックスタート例（CLI）

# ハードウェアプロファイルと最適なモデルを表示
llmfit recommend

# スクリプト用に同じ情報を JSON で取得
llmfit recommend --json > fits.json

# モデルで実際のベンチマークを実行し、結果を共有
llmfit bench --model "Llama-2-7B-Chat-GGUF" --provider ollama --share

要約： llmfit は、増え続けるオープンソース LLM のカタログと、人々がそれらを実行する多様なハードウェアとの間のギャップを埋める実用的なユーティリティであり、適切なモデルを選択するのに役立つ推定と実際の測定値の両方を提供します。