AlexsJones/llmfit

解決的問題

llmfit 幫助使用者判斷其特定硬體能順暢運行哪些開源大型語言模型（LLM）。它透過分析系統資源，並根據可用記憶體與預期效能來推薦模型，從而消除選擇模型時的猜測。

運作方式

該工具會偵測您系統的 CPU、RAM、GPU、VRAM 及加速器配置（支援 NVIDIA CUDA、Apple Silicon、AMD ROCm 及 Intel OneAPI）。接著，它會將這些規格與模型目錄進行比對，分析參數數量、上下文長度及量化格式（例如 GGUF、AWQ、GPTQ 及 EXL2）。

效能是透過基於執行時期取樣與社群貢獻基準測試的記憶體頻寬模型來估算的。使用者也可以執行自己的基準測試，以其特定硬體上的真實每秒 Token 數測量值來取代預估值。

適用對象

想要在本機運行 LLM，但不確定哪種模型大小或量化等級能塞進 VRAM/RAM 且不會導致系統崩潰的開發者與 AI 愛好者。

特色

• 硬體自動偵測：自動識別 macOS、Linux 及 Windows 上的系統資源。
• 互動式 TUI 與 Web 儀表板：提供終端機介面或網頁儀表板，用於瀏覽與排名模型。
• 社群基準測試：允許使用者測量真實效能，並將結果回饋給專案，以改善擁有相同硬體之其他使用者的預估值。
• REST API：提供 JSON 端點，以便整合至其他部署管線或協調器。
• 廣泛的供應商支援：支援 Ollama、llama.cpp、MLX 及 LM Studio 等本機執行時期。