evidently: 머신러닝 및 LLM 기반 시스템을 평가·테스트·모니터링하는 오픈소스 프레임워크

해결하는 문제

Evidently는 머신러닝(ML) 및 대형 언어 모델(LLM) 시스템의 품질을 평가·테스트·모니터링하기 위한 통합 프레임워크를 제공합니다. 실험 단계부터 프로덕션까지 성능과 신뢰성을 유지하는 데 어려움을 해결하며, 특히 데이터 드리프트, 모델 성능 저하, 생성 AI 출력 품질과 같은 문제를 목표로 합니다.

작동 방식

이 라이브러리는 세 가지 주요 구성 요소로 동작합니다:

1. Reports: 내장 메트릭 또는 사용자 정의 메트릭을 사용해 품질 평가를 계산하고 요약합니다. 탐색적 분석 및 디버깅에 활용되며 JSON, HTML, Python 딕셔너리 형태로 내보낼 수 있습니다.
2. Test Suites: Reports에 통과/실패 조건을 추가하여 회귀 테스트, CI/CD 검사, 데이터 검증을 자동화할 수 있습니다.
3. Monitoring Dashboard: UI 서비스(셀프 호스팅 또는 관리형 클라우드 버전 제공)로, 시간에 따라 메트릭과 테스트 결과를 시각화해 시스템 상태를 추적합니다.

대상 사용자

예측 모델(분류, 회귀)이나 생성 시스템(RAG, LLM 애플리케이션)의 정확도와 안정성을 지속적으로 유지해야 하는 ML 엔지니어, 데이터 과학자, AI 개발자를 위해 설계되었습니다.

주요 특징

• 광범위한 지원: 표형 데이터와 텍스트 데이터를 모두 지원합니다.
• 다양한 메트릭 라이브러리: 데이터 드리프트, LLM-as-a-judge, 전통적인 ML 성능 등을 포괄하는 100개 이상의 내장 메트릭을 포함합니다.
• 다목적 평가: 예측 작업(정확도, 정밀도)과 생성 작업(의미 유사도, 검색 관련성)을 모두 지원합니다.
• 유연한 배포: 실험을 위한 오프라인 평가와 프로덕션 시스템을 위한 실시간 모니터링을 모두 제공합니다.

SUMMARY: 오픈소스 Python 프레임워크로, ML 및 LLM 기반 시스템을 평가·테스트·모니터링하여 개발자가 데이터 드리프트를 감지하고 출력 품질을 보장하도록 돕습니다.

TITLE: evidently: 머신러닝 및 LLM 기반 시스템을 평가·테스트·모니터링하는 오픈소스 프레임워크