AlexsJones/llmfit

Hundreds of models & providers. One command to find what runs on your hardware.

What it solves

ユーザー固有のハードウェアに適合する大規模言語モデル（LLM）を選ぶ難しさを解決します。モデルが VRAM に収まるか、許容できる速度で動作するかを推測する代わりに、利用可能な RAM、CPU、GPU に合わせたサイズのモデルを見つけられます。

How it works

llmfit はシステムのハードウェア仕様を検出し、数百のモデルを「メモリ適合度」「推定速度」「品質」「コンテキスト」の4つの重要指標でスコアリングします。速度の推定は、実行時サンプリングとコミュニティ提供の測定値に基づくメモリ帯域モデルから算出されます。ツールはインタラクティブな TUI（ターミナルユーザーインターフェース）と自動化向け CLI を提供し、Ollama、llama.cpp、MLX、LM Studio などのローカルランタイムプロバイダーをサポートします。

Who it’s for

ローカルで LLM を実行する開発者や AI 愛好者向けで、実際のハードウェア制約に基づいて手動計算なしでモデル選択を最適化したい方に最適です。

Highlights

  • Hardware Detection: RAM、CPU、GPU/VRAM を自動的に検出し、モデルの互換性を判断します。
  • Multi-Backend Support: Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio などのローカルプロバイダーに対応。
  • Community Benchmarking: ユーザーが自分のハードウェアで実際の token‑per‑second を測定し、結果をプロジェクトに貢献でき、他者の推定精度を向上させます。
  • Flexible Interface: 探索用のビジュアル TUI と、スクリプトやエージェント統合用の JSON 出力 CLI を提供。
  • Architecture Awareness: Mixture‑of‑Experts（MoE）アーキテクチャを含む複雑なモデルタイプをサポート。