dezoito/ollama-grid-search

解決的問題

Ollama Grid Search 自動化了手動測試不同大型語言模型（LLMs）、提示詞和推論參數，以找到特定用例最佳組合的繁瑣過程。無需逐一測試，它允許使用者同時在多個組態上執行實驗。

工作原理

該工具連接到 Ollama 伺服器（本地或遠端），並取得可用模型。使用者定義一組模型、提示詞和參數值。應用程式隨後遍歷這些輸入的所有可能組合——本質上執行「網格搜尋」——並產生一組回應，供視覺檢查與比較。

適用對象

使用 Ollama 在本地執行 LLM，並需要系統化方式評估與優化其提示詞與模型選擇的開發者與 AI 研究人員。

主要亮點

• 多維度測試：可同時迭代多個模型、提示詞與參數。
• A/B 測試：可直接並排比較不同提示詞或模型的結果。
• 提示詞管理：內建提示詞資料庫，支援自動補全功能（使用 /）。
• 效能指標：可選擇輸出回應元資料，包括推論時間與每秒令牌數。
• 實驗追蹤：可列出、檢視並以 JSON 格式下載實驗日誌。
• 併發控制：支援有限併發或同步呼叫，防止伺服器過載。