AlexsJones/llmfit

Hundreds of models & providers. One command to find what runs on your hardware.

What it solves

它解決了在特定硬體上挑選相容的大型語言模型（LLM）的困難。使用者不必再猜測模型是否能放入 VRAM 或以可接受的速度執行，而是能直接找到與其可用 RAM、CPU 與 GPU 相匹配的模型。

How it works

llmfit 會偵測系統的硬體規格，並對數百個模型在四個關鍵維度上進行評分：記憶體適配度、預估速度、品質與上下文。速度預估是根據記憶體頻寬模型，結合執行時抽樣與社群貢獻的測量值。此工具提供互動式 TUI（終端使用者介面）與可自動化的 CLI，支援多種本地執行環境，如 Ollama、llama.cpp、MLX 與 LM Studio。

Who it’s for

此工具設計給在本機執行 LLM 的開發者與 AI 愛好者，讓他們能在不需手動計算的情況下，依實際硬體限制最佳化模型選擇。

Highlights

  • Hardware Detection: 自動辨識 RAM、CPU 與 GPU/VRAM，以判斷模型相容性。
  • Multi-Backend Support: 相容於本地提供者，包括 Ollama、llama.cpp、MLX、Docker Model Runner 與 LM Studio。
  • Community Benchmarking: 允許使用者在自己的硬體上測量實際的 token‑per‑second，並將結果回饋至專案，以提升其他人的預估精準度。
  • Flexible Interface: 同時提供可視化 TUI 供探索，以及輸出 JSON 的 CLI，方便腳本或代理程式整合。
  • Architecture Awareness: 支援複雜模型類型，包含 Mixture‑of‑Experts（MoE）架構。