preset-io/promptimize

해결하는 문제

Promptimize는 대규모 언어 모델(LLM)의 예측 불가능성을 프롬프트 엔지니어링에 테스트 주도 개발(TDD) 방식을 도입하여 해결합니다. 개발자는 수동적인 시행착오에서 벗어나, 프로그래밍 방식의 엄격한 프레임워크를 사용하여 대규모로 프롬프트를 평가하고 개선할 수 있습니다.

작동 방식

이 툴킷은 '프롬프트 케이스(prompt case)' 시스템을 사용하며, 개발자는 특정 입력과 관련 평가 함수를 코드로 정의합니다. 이러한 함수는 응답을 0에서 1 사이의 점수로 평가합니다. Promptimize는 이러한 케이스를 '스위트(Suites)'로 구성하여 다양한 모델, 온도, 설정에서 실행할 수 있습니다. 성능 추적, 회귀 분석, 프롬프트 변형 간의 성능 비교를 위한 보고서를 생성합니다.

대상 사용자

소프트웨어 제품의 프로덕션 환경에서 사용할 수 있도록 프롬프트의 신뢰성과 결정론적 성능을 보장해야 하는 제품 빌더 및 AI 엔지니어를 위해 설계되었습니다.

주요 특징

• Configuration as Code: 프롬프트 케이스와 평가가 Python으로 정의되어 테스트 케이스를 동적으로 생성할 수 있습니다.
• API 효율성: 변경된 프롬프트 케이스만 재평가하여 비용을 최소화합니다.
• 가중치 평가: 프롬프트 케이스에 가중치와 카테고리를 할당하여 보고 시 중요한 테스트를 우선순위에 둘 수 있습니다.
• 확장 가능한 훅: 생성된 SQL 코드를 실행하여 결과를 검증하는 등 복잡한 검증을 위한 pre_run 및 post_run 훅을 제공합니다.
• LangChain 통합: 내부적으로 LangChain과 연동되지만, Python 기반의 프롬프트 생성 로직이라면 무엇이든 호환됩니다.