Andyyyy64/whichllm

whichllm – 挑选真正能在您的硬件上运行的最佳 LLM

功能简介 – whichllm 是一个命令行工具，可检查您机器的 CPU、GPU 和 RAM（或您模拟拥有的 GPU），并返回一份适合在本地运行且性能良好的 Hugging Face 模型排名清单。排名依据真实基准测试分数、模型大小、量化方式、预估生成速度以及模型在内存中的适配程度。

运作原理 –

1. 通过 NVIDIA/AMD/Apple-Silicon 库与操作系统查询来检测硬件。
2. 查询 Hugging Face API 获取最新模型，并依格式（GGUF, AWQ, GPTQ, FP16/BF16 等）进行筛选。
3. 整合来自多个公开排行榜（LiveBench, Aider, Chatbot Arena, Open LLM Leaderboard）的基准测试数据，并针对自报或继承的分数应用基于信赖度的折扣。
4. 根据带宽、量化方式以及模型是完全在 GPU 运行、部分卸载或仅在 CPU 运行，来估算 VRAM 使用量（权重 + KV-cache + 激活值 + 框架开销）与每秒生成 Token 速度。
5. 为每个候选模型评分（0-100）并输出为表格、JSON 或 Markdown。

主要特色 –

• 自动检测或模拟任何 GPU（例如 --gpu "RTX 4090"）。
• 筛选完全符合 GPU 的模型（--gpu-only）、速度门槛（--speed usable）或特定量化格式。
• 一键对话（whichllm run …）与可直接粘贴的 Python 代码片段（whichllm snippet …）。
• 规划辅助：whichllm plan "llama 3 70b" 可告知您所需的 GPU；whichllm upgrade … 可比较硬件升级方案。
• 输出格式：纯文本表格、GitHub 风格 Markdown 或机器可读的 JSON。
• 实时数据与缓存机制（模型清单 6 小时，基准测试 24 小时）。

典型工作流程 –

# 针对当前机器获取快速建议
whichllm

# 在购买前模拟您拥有的新 GPU
whichllm --gpu "RTX 4090"

# 使用最适合您设备的模型进行对话
whichllm run

# 将顶尖结果导出为 JSON 以供脚本使用
whichllm --top 1 --json

为何重要 – 许多工具仅仅挑选能塞进 VRAM 的最大模型。whichllm 更进一步：它评估质量（基准测试分数）、时效性（优先考虑较新的模型）以及实际速度，从而建议最能让您的硬件发挥最佳体验的模型。

安装方式 – 可通过 uv、brew 或 pip 安装（例如 uvx whichllm@latest）。

---

所有细节均取自项目 README；未添加任何额外声明。