AlexsJones/llmfit

Hundreds of models & providers. One command to find what runs on your hardware.

What it solves

它解决了在特定硬件上选择兼容的大型语言模型（LLM）的难题。用户不必再猜测模型是否能放入 VRAM 或以可接受的速度运行，而是可以直接找到与其可用 RAM、CPU 和 GPU 相匹配的模型。

How it works

llmfit 检测系统的硬件规格，并对数百个模型在四个关键维度上进行评分：内存适配度、估计速度、质量和上下文。速度估计基于内存带宽模型，结合运行时抽样和社区贡献的测量数据。该工具提供交互式 TUI（终端用户界面）和用于自动化的 CLI，支持多种本地运行时提供者，如 Ollama、llama.cpp、MLX 和 LM Studio。

Who it’s for

它面向在本地运行 LLM 的开发者和 AI 爱好者，帮助他们在不进行手动计算的情况下，根据实际硬件约束优化模型选择。

Highlights

  • Hardware Detection: 自动识别 RAM、CPU 和 GPU/VRAM，以确定模型兼容性。
  • Multi-Backend Support: 兼容本地提供者，包括 Ollama、llama.cpp、MLX、Docker Model Runner 和 LM Studio。
  • Community Benchmarking: 允许用户在自己的硬件上测量实际的 token‑per‑second，并将结果贡献回项目，以改进其他人的估算。
  • Flexible Interface: 提供可视化 TUI 用于探索，以及输出 JSON 的 CLI，便于脚本或代理集成。
  • Architecture Awareness: 支持复杂模型类型，包括 Mixture‑of‑Experts（MoE）架构。