優化在地 LLM 選擇：深入探討 whichllm

選擇在地大型語言模型 (LLM) 往往感覺像是在玩猜謎遊戲。大多數使用者依賴一個簡單的啟發式方法：「我的 VRAM 能裝下最大的模型嗎？」然而，隨著生態系統的演進，參數數量正逐漸成為衡量實際性能的劣質指標。較小、較新一代的模型通常比較大、較舊的模型表現更好，而量化等級也會大幅改變速度與智慧之間的平衡。

whichllm 是一款旨在解決此優化問題的新型開源工具。它不再僅僅依賴模型大小，而是透過自動偵測您的硬體，並根據真實世界的基準測試與硬體感知性能估算值的綜合結果來對模型進行排名。

超越「能裝下嗎？」的啟發式方法

whichllm 的核心哲學是：將模型放入 VRAM 是容易的部分；在所有能裝下的模型中找到「最佳」模型才是挑戰。該工具捨棄了基於大小的建議，轉而採用基於證據的排名系統。

例如，在 RTX 4090 上，僅考慮大小的工具可能會建議裝入 24GB VRAM 的最大模型。相比之下，如果 27B 模型屬於較新一代且在實際基準測試中得分較高，即使它在記憶體中留有更多餘裕，whichllm 也可能會將 27B 模型排在 32B 模型之前。

評分引擎

為了實現這一點，whichllm 採用了一套複雜的評分系統 (0-100)，平衡了幾個相互競爭的因素：

• 基準測試品質： 主要驅動力，整合了來自 LiveBench、Artificial Analysis、Aider、Chatbot Arena ELO 以及 Open LLM Leaderboard 的數據。
• 模型大小： 用於衡量世界知識的 log2-縮放代理指標 (最高 35 分)。
• 量化懲罰： 對較低位元的量化進行乘法折扣，以反映品質損失。
• 證據置信度： 根據獲取方式對分數進行加權。直接匹配獲得全額權重，而上傳者自述的聲明則會被大幅折扣 (x0.55)。
• 執行時配置： 如果模型需要部分卸載到 CPU 或僅限 CPU 執行，則會套用懲罰 (x0.50-0.72)。
• 速度與信任： 根據預期的每秒 token 數 (t/s) 以及模型是否來自官方組織或第三方重新打包者進行微調。

技術架構與硬體感知

whichllm 不僅僅查看靜態列表；它直接與 HuggingFace API 整合，以獲取即時的模型數據。其硬體偵測層支援 NVIDIA (透過 nvidia-ml-py)、AMD (透過 ROCm)、Apple Silicon (Metal) 以及標準的 CPU/RAM 配置。

VRAM 與速度估算

該工具使用一個考慮到不僅僅是權重的公式來計算 VRAM 需求： VRAM = weights + GQA KV cache + activation + framework overhead (~500MB)

速度是根據 GPU 記憶體頻寬查詢來估算的，這使得工具能夠提供預測的每秒 token 數 (t/s) 率。這對於混合專家模型 (MoE) 特別有用，因為速度是根據「主動」參數來排名，而品質則根據「總計」參數來排名。

實際效用：從規劃到執行

whichllm 最強大的功能之一是其縮短發現與部署之間差距的能力。

• 硬體規劃： plan 指令允許使用者進行逆向工程需求。例如，whichllm plan "llama 3 70b" 會告訴您運行特定模型所需的確切硬體。
• 即時執行： run 指令利用 uv 來建立隔離環境、下載模型並開始互動式對話會話，而不需要使用者手動配置依賴項。
• 開發者整合： snippet 指令會生成可直接使用的 Python 代碼 (例如使用 llama-cpp-python)，以便將推薦的模型整合到專種案中。

社群 Critiques 與限制

雖然該工具提供了選擇 LLM 的結構化方法，但社群已指出了一些需要改進的領域以及潛在的陷阱：

記憶體與上下文複雜性

幾位使用者指出 VRAM 需求估算很少是線性的。正如一位貢獻者所說，當使用非常長的上下文時，token 生成速度會大幅下降，且 KV cache 量化可以大幅改變記憶體使用量。此外，也存在疑慮，即不同的架構 (例如 Mistral 的 sliding window attention) 處理上下文記憶體的方式與 Llama 不同，這可能導致通用估算值的精確度下降。

「Vibe-Coding」爭議

一些 Hacker News 上的評論家對該專案的真實性提出質疑，認為 README 和代碼展現了「AI-generated」或「vibecoded」的跡象。其他人則認為，與其要求使用者安裝 CLI 工具來獲取硬體建議，不如提供一個簡單的基於 Web 的介面會更易於使用且更安全。

硬體邊緣案例

偵測功能在所有平台上並並不完美。例如，在 Linux 上使用 AMD unified memory 架構的使用者回報，該工具可能僅偵測到預留記憶體而非總可用記憶體，這是一個連 nvtop 等系統監控工具都難以處理的問題。

能力總結

| Feature | Description | | :--- | :--- | | | Auto-Detection | 識別 NVIDIA, AMD, Apple Silicon, 和 CPU 規格 | | | Live Data | 從 HuggingFace 獲取當前模型與基準測試數據 | | | Simulation | 使用 --gpu "RTX 4090" 測試硬體在購買前 | | | Task Profiles | 依據編碼, 視覺, 或數學進行推薦篩選 | | | Pipeline Ready | 提供 JSON 輸出以整合至 Ollama 等工具 | |