dezoito/ollama-grid-search

何を解決するか

Ollama Grid Search は、特定の用途に最適な組み合わせを見つけるために、手動で異なる大規模言語モデル（LLM）、プロンプト、推論パラメータをテストする面倒なプロセスを自動化します。1つずつテストするのではなく、複数の構成を同時に実験できるようにします。

仕組み

このツールは Ollama サーバー（ローカルまたはリモート）に接続し、利用可能なモデルを取得します。ユーザーはモデル、プロンプト、パラメータ値のセットを定義します。アプリケーションはこれらの入力のすべての可能な組み合わせを繰り返し処理し（いわゆる「グリッドサーチ」）、視覚的に確認・比較できる応答セットを生成します。

対象ユーザー

ローカルの LLM を Ollama で実行し、プロンプトやモデル選択を体系的に評価・最適化したい開発者や AI 研究者。

特徴

• 多次元テスト: 複数のモデル、プロンプト、パラメータを一度に繰り返しテスト可能。
• A/B テスト: 異なるプロンプトやモデルの結果を直接横並びで比較可能。
• プロンプト管理: オートコンプリート機能付きの組み込みプロンプトデータベース（/ を使用）。
• パフォーマンスメトリクス: 応答メタデータ（推論時間、1秒あたりのトークン数など）をオプションで出力可能。
• 実験の追跡: JSON 形式で実験ログを一覧表示、確認、ダウンロード可能。
• 並行制御: サーバーの過負荷を防ぐために、並行処理の制限や同期呼び出しをサポート。