langchain-ai/openevals
Readymade evaluators for your LLM apps
해결하는 문제
OpenEvals는 LLM 애플리케이션을 위한 평가(evals)를 작성하는 표준화된 시작점 제공합니다. 개발자가 수동 테스트를 벗어나, 모델 출력의 품질, 정확성, 안전성을 생산 환경에 배포하기 전에 프로그래밍 방식으로 판단할 수 있도록 도와줍니다.
작동 방식
이 라이브러리는 주로 "LLM-as-judge" 방식을 사용하며, 높은 능력을 가진 모델을 특정 기준에 따라 다른 모델의 출력을 평가하는 데 사용합니다. create_llm_as_judge 함수는 입력과 출력을 프롬프트 형식으로 변환하고, 심사자의 응답을 구조화된 점수와 주석으로 파싱합니다. 또한 정확한 일치, Levenshtein 거리, 임베딩 유사도와 같은 비-LLM 평가자도 지원합니다.
대상 사용자
Python 또는 TypeScript로 LLM 기반 애플리케이션을 개발하고, 개발 과정에서 성능과 회귀를 신뢰할 수 있는 방법으로 측정하고자 하는 개발자를 대상으로 합니다.
주요 기능
- 사전 구축된 프롬프트: 품질, 안전성, 보안, RAG(정확성, 유용성, 근거성, 검색 관련성)용 즉시 사용 가능한 프롬프트 포함.
- 유연한 평가: 이진 점수, 연속 실수 점수, 또는 사용자 정의 점수 선택지를 지원합니다.
- 광범위한 평가 범위: 텍스트 외에도 구조화된 출력(정확한 일치), 코드(파이라이트/Mypy를 통한 타입 체크), 에이전트 트래잭션을 평가하는 평가자 포함.
- 다중 모달 지원: 첨부 파일이나 이미지를 포함한 출력 평가 가능.
- 시뮬레이션 도구: 다단계 상호작용을 테스트하기 위한 사용자 시뮬레이션 기능 포함.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트