aidatatools/ollama-benchmark

解決的問題

此工具提供了一種測量透過 Ollama 執行的本地大型語言模型（LLM）實際吞吐量（每秒令牌數）的方法，讓使用者能了解其硬體在不同模型大小下的表現。

作法原理

CLI 工具與 Ollama 安裝互動。它會自動偵測系統的 RAM 大小，以決定哪些 LLM 模型適合下載與測試。接著對這些模型執行基準測試，以計算性能指標。

適用對象

透過 Ollama 執行本地 LLM，並希望量化其硬體在不同模型層級（從 2B 到 20B 參數）下推論速度的使用者。

主要特色

• 支援 Windows、Linux 與 macOS 的跨平台 CLI 工具。
• 基於可用系統 RAM 自動選擇模型。
• 支援透過 YAML 檔案自訂基準測試模型清單。
• 可選擇停用系統資訊與結果傳送到遠端伺服器。