evidentlyai/evidently

Evidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100+ metrics.

What it solves

Evidently는 머신러닝(ML) 및 대규모 언어 모델(LLM) 시스템의 품질을 평가·테스트·모니터링하기 위한 통합 프레임워크를 제공합니다. 실험 단계에서 프로덕션까지 성능과 신뢰성을 유지하는 문제를 해결하며, 특히 데이터 드리프트, 모델 성능 저하, 생성 AI 출력 품질과 같은 이슈를 목표로 합니다.

How it works

라이브러리는 세 가지 주요 컴포넌트로 동작합니다:

  1. Reports: 내장 또는 사용자 정의 메트릭을 사용해 품질 평가를 계산·요약합니다. 탐색적 분석 및 디버깅에 활용되며 JSON, HTML, Python 딕셔너리 형태로 내보낼 수 있습니다.
  2. Test Suites: Reports에 통과/실패 조건을 추가해 회귀 테스트, CI/CD 체크, 데이터 검증을 자동화할 수 있습니다.
  3. Monitoring Dashboard: UI 서비스(셀프 호스팅 또는 관리형 클라우드 버전)로, 시간에 따라 메트릭과 테스트 결과를 시각화해 시스템 상태를 추적합니다.

Who it’s for

ML 엔지니어, 데이터 과학자, AI 개발자를 위해 설계되었으며, 예측 모델(분류, 회귀)이나 생성 시스템(RAG, LLM 애플리케이션)의 정확도와 안정성을 장기간 유지하고자 하는 사람들에게 적합합니다.

Highlights

  • Broad Support: 표형 데이터와 텍스트 데이터를 모두 지원합니다.
  • Extensive Metric Library: 데이터 드리프트, LLM‑as‑a‑judge, 전통적인 ML 성능을 포괄하는 100개 이상의 내장 메트릭을 제공합니다.
  • Versatile Evaluation: 예측 작업(accuracy, precision)과 생성 작업(semantic similarity, retrieval relevance)을 모두 지원합니다.
  • Flexible Deployment: 실험용 오프라인 평가와 프로덕션 시스템용 실시간 모니터링을 모두 제공하는 유연한 배포 옵션을 갖추고 있습니다.