dezoito/ollama-grid-search

解决的问题

Ollama Grid Search 自动化了手动测试不同大型语言模型（LLMs）、提示词和推理参数以找到特定用例最佳组合的繁琐过程。无需逐个测试，它允许用户同时在多个配置上运行实验。

工作原理

该工具连接到 Ollama 服务器（本地或远程），并获取可用模型。用户定义一组模型、提示词和参数值。应用程序随后遍历这些输入的所有可能组合——本质上执行“网格搜索”——并生成一组响应，供视觉检查和比较。

适用人群

使用 Ollama 在本地运行 LLM 并需要系统化方式评估和优化其提示词和模型选择的开发者和 AI 研究人员。

主要亮点

• 多维度测试：可同时迭代多个模型、提示词和参数。
• A/B 测试：可直接并排比较不同提示词或模型的结果。
• 提示词管理：内置提示词数据库，支持自动补全功能（使用 /）。
• 性能指标：可选择输出响应元数据，包括推理时间和每秒令牌数。
• 实验追踪：可列出、检查并以 JSON 格式下载实验日志。
• 并发控制：支持有限并发或同步调用，防止服务器过载。