dezoito/ollama-grid-search

해결하는 문제

Ollama Grid Search는 특정 용도에 가장 적합한 조합을 찾기 위해 수동으로 다양한 대규모 언어 모델(LLM), 프롬프트, 추론 파라미터를 테스트하는 번거로운 과정을 자동화합니다. 하나씩 테스트하는 대신, 여러 구성에서 동시에 실험을 수행할 수 있습니다.

작동 방식

이 도구는 로컬 또는 원격 Ollama 서버에 연결하고 사용 가능한 모델을 가져옵니다. 사용자는 모델, 프롬프트, 파라미터 값의 집합을 정의합니다. 애플리케이션은 이러한 입력의 모든 가능한 조합을 반복 처리(즉, '그리드 서치')하고, 시각적 검토와 비교를 위한 응답 세트를 생성합니다.

대상 사용자

로컬 LLM을 Ollama로 실행하고 프롬프트 및 모델 선택을 체계적으로 평가하고 최적화가 필요한 개발자 및 AI 연구자.

주요 기능

• 다차원 테스트: 여러 모델, 프롬프트, 파라미터를 동시에 반복 테스트 가능.
• A/B 테스트: 서로 다른 프롬프트나 모델의 결과를 직접 비교 가능.
• 프롬프트 관리: 자동 완성 기능이 있는 내장 프롬프트 데이터베이스(/ 사용).
• 성능 메트릭: 추론 시간 및 초당 토큰 수와 같은 응답 메타데이터를 선택적으로 출력.
• 실험 추적: JSON 형식으로 실험 로그를 목록화, 검토, 다운로드 가능.
• 병렬 제어: 서버 과부하를 방지하기 위해 제한된 병렬 처리 또는 동기 호출을 지원.