AlexsJones/llmfit

llmfit – 它的功能

llmfit 是一个命令行（以及可选的 Web）工具，帮助你确定哪些开源大型语言模型（LLM）能在你的计算机上实际运行。它会自动检测你的 CPU、内存、GPU、显存和其他加速器，然后对其内置目录中的每个模型进行评分，评分依据包括：

适配性 – 模型是否能装入内存？
速度 – 基于带宽模型和社区基准测试的每秒 token 数估计。
质量 – 目录提供的粗略质量排名。
上下文 – 模型支持的最大提示长度。

结果是一个排名列表，包含各种量化格式（如 GGUF、AWQ、GPTQ、EXL2）的模型，你可以使用 Ollama、llama.cpp、MLX、Docker 运行器或 LM Studio 等后端在本地运行。

主要功能（来自 README）

功能	你得到什么
硬件自动检测	CPU 核心、系统内存、独立/集成 GPU、显存和统一内存（CUDA、Apple Silicon、ROCm、OneAPI）。
模型兼容性引擎	为多种量化格式预测内存占用和每秒 token 性能。
交互式 TUI 和 Web 仪表盘	零依赖的终端界面（默认）或更丰富的 Web 界面，可在本地或 Docker 中运行。
REST API	JSON 端点（`/api/v1/system`、`/api/v1/models`），用于与编排工具或自定义仪表盘集成。
跨平台	macOS（Apple Silicon 和 Intel）、Linux（x86_64 和 ARM64）、Windows（x86_64）。
社区基准测试	在你的硬件上运行真实基准测试，通过一条命令分享结果，并将其纳入未来版本。
容器镜像	多架构 Docker 镜像（`ghcr.io/alexsjones/llmfit`），可提供 TUI、CLI 或 API 服务。
可扩展模型目录	在本地或通过 PR 添加新模型；目录已包含来自多个提供商的数百个模型。

典型工作流程

安装 – 通过 Homebrew、Scoop、快速安装脚本、预编译二进制文件，或作为 Rust/Python 包。
运行 – 运行 llmfit（或 llmfit recommend）查看针对检测到的硬件的兼容模型表格。
探索 – 使用 TUI 进行筛选、排序、查看详细的适配分析，或启动 Web 界面。
基准测试 – llmfit bench 测量所选模型/提供商的真实每秒 token 速度，并可通过 --share 将数据分享回项目。
部署 – 选择一个模型，下载它，并使用你偏好的本地运行时（例如 Ollama、llama.cpp）启动。
自动化 – 消费 JSON 输出（llmfit recommend --json）或调用 REST API 进行脚本化部署。

谁可能使用它？

开发者 – 希望在本地运行 LLM，但不确定哪种大小/量化版本适合。
研究人员 – 评估用于 LLM 工作负载的硬件。
运维/DevOps – 构建自动化管道，需要根据目标机器选择模型。
爱好者 – 贡献基准数据以改进社区的估计。

安装亮点

Windows – scoop install llmfit
macOS / Linux – Homebrew（brew install AlexsJones/llmfit/llmfit）、MacPorts 或一行命令 curl … | sh
Python / uv – uv tool install -U llmfit（也适用于 pip）
Docker – docker run ghcr.io/alexsjones/llmfit（添加 --tui 进入交互模式，或 serve 用于 API/UI）
从源码 – cargo build --release

许可证与签名

该项目以 MIT 许可证发布。当 CI 任务成功时，Windows 二进制文件通过 SignPath 签名；如果签名失败，仍可能发布未签名的二进制文件。

快速入门示例（CLI）

# 显示硬件配置和最适合的模型
llmfit recommend

# 以 JSON 格式获取相同信息，用于脚本
llmfit recommend --json > fits.json

# 在模型上运行真实基准测试并分享结果
llmfit bench --model "Llama-2-7B-Chat-GGUF" --provider ollama --share

简而言之： llmfit 是一个实用工具，弥合了不断增长的开源 LLM 目录与人们运行它们的多样化硬件之间的差距，提供估计和真实世界测量，帮助你选择正确的模型。