aidatatools/ollama-benchmark
LLM Benchmark for Throughput via Ollama (Local LLMs)
解决的问题
它为您提供了一个具体的数字,反映了您的本地大语言模型实际运行的速度。无需猜测或依赖提供商的声明,您可以直接获得针对您自身硬件的每秒 token 吞吐量测量结果。
工作原理
您可以使用 pip、pipx 或 uv 安装它,然后运行单个命令。它依赖于现有的 Ollama 安装。该工具会检测您系统的 RAM 大小,自动选择一组适合基准测试的模型,如果模型尚未存在则会拉取它们,并运行提示词工作负载来测量吞吐量。您还可以提供一个包含您自定义模型列表的 YAML 文件。默认情况下,它会将系统信息和结果发送到远程服务器;使用 --no-sendinfo 标志可将所有内容保留在本地。
适用人群
任何通过 Ollama 运行本地 LLM 的人——开发人员、爱好者、研究人员——他们希望有一种快速、可重复的方法来比较自己机器上的推理速度。
特点
- 跨平台:适用于 Windows、Linux 和 macOS。
- 根据 RAM 大小自动选择模型。
- 可选择将基准测试结果发送到远程服务器。
- 支持通过 YAML 文件自定义基准测试模型列表。
- 在 Python 3.10 及以上版本上经过测试。
相关
- 项目
- 项目
- 项目
- 项目
- 项目