AlexsJones/llmfit

解决的问题

llmfit 帮助用户判断其特定硬件能流畅运行哪些开源大型语言模型（LLM）。它通过分析系统资源，并根据可用内存和预期性能来推荐模型，从而消除选择模型时的猜测。

运作方式

该工具会检测您系统的 CPU、RAM、GPU、VRAM 及加速器配置（支持 NVIDIA CUDA、Apple Silicon、AMD ROCm 和 Intel OneAPI）。接着，它会将这些规格与模型目录进行比对，分析参数数量、上下文长度和量化格式（例如 GGUF、AWQ、GPTQ 和 EXL2）。

性能是使用基于运行时采样和社区贡献基准测试的内存带宽模型来估算的。用户也可以运行自己的基准测试，以其特定硬件上的真实每秒 Token 数测量值来取代预估值。

适用对象

想要在本地运行 LLM，但不确定哪种模型大小或量化级别能装入 VRAM/RAM 且不会导致系统崩溃的开发者和 AI 爱好者。

亮点

• 硬件自动检测：自动识别 macOS、Linux 和 Windows 上的系统资源。
• 交互式 TUI 与 Web 仪表板：提供基于终端的界面或基于 Web 的仪表板，用于浏览和对模型进行排名。
• 社区基准测试：允许用户测量真实性能，并将结果回馈给项目，以改善拥有相同硬件的其他用户的预估值。
• REST API：提供 JSON 端点，以便集成到其他部署流水线或编排器中。
• 广泛的提供商支持：支持 Ollama、llama.cpp、MLX 和 LM Studio 等本地运行时。