aidatatools/ollama-benchmark

解决的问题

该工具提供了一种测量通过 Ollama 运行的本地大型语言模型（LLM）实际吞吐量（每秒令牌数）的方法，使用户能够了解其硬件在不同模型大小下的性能表现。

工作原理

CLI 工具与 Ollama 安装进行交互。它会自动检测系统的 RAM 大小，以确定哪些 LLM 模型适合下载和测试。然后对这些模型运行基准测试，以计算性能指标。

适用人群

通过 Ollama 运行本地 LLM 且希望量化其硬件在不同模型层级（从 2B 到 20B 参数）下推理速度的用户。

主要亮点

• 支持 Windows、Linux 和 macOS 的跨平台 CLI 工具。
• 基于可用系统 RAM 自动选择模型。
• 支持通过 YAML 文件自定义基准测试模型列表。
• 可选择禁用向远程服务器发送系统信息和结果。