PacificAI/langtest
Deliver safe & effective language models
해결하는 문제
LangTest는 데이터 과학자가 언어 모델이 안전하고 강건하며 공정함을 보장할 수 있도록 도와주는 도구입니다. 단순한 정확도를 넘어서 모델 품질을 평가할 수 있는 즉시 사용 가능한 도구의 부족을 해결하며, 특히 인구 통계적 편향, 독성, 실제 환경에서의 일관성 부족과 같은 문제에 초점을 맞춥니다.
작동 방식
이 라이브러리는 사용자가 60가지 이상의 다양한 유형의 테스트를 생성하고 실행하며 보고할 수 있도록 해주는 Harness 객체를 제공합니다. NER, 번역, 텍스트 분류와 같은 다양한 NLP 작업을 지원하며, Hugging Face, Spark NLP, 그리고 다양한 LLM 제공업체(OpenAI, Cohere, AI21, Azure-OpenAI)와 통합됩니다.
대상 사용자
생산 시스템에 모델을 배포하기 전에 강건성, 공정성, 안전성을 철저히 테스트해야 하는 NLP 전문가 및 데이터 과학자에게 적합합니다.
주요 특징
- 포괄적인 테스트: 강건성, 편향, 표현, 공정성, 정확도를 모두 커버합니다.
- 자동 데이터 증강: 특정 모델에 대해 테스트 결과를 기반으로 훈련 데이터를 자동으로 증강할 수 있습니다.
- LLM 지원: 사실성, 복종성, 독성과 같은 LLM 전용 테스트를 제공합니다.
- 광범위한 통합: 다양한 NLP 프레임워크와 LLM API와 호환됩니다.
관련
- 프로젝트
- 프로젝트
evidentlyai/evidently오픈소스 Python 프레임워크로, ML 및 LLM 기반 시스템을 평가·테스트·모니터링하여 개발자가 데이터 드리프트를 감지하고 출력 품질을 보장하도록 돕습니다.
- 프로젝트
huggingface/lightevalHugging Face에서 제공하는 포괄적인 툴킷으로, 1,000개 이상의 벤치마크와 사용자 정의 메트릭을 지원하며, 여러 백엔드에서 LLM을 평가할 수 있습니다.
- 프로젝트
- 프로젝트
confident-ai/deepevalDeepEval은 LLM 기반 애플리케이션(에이전트, 챗봇, RAG 파이프라인)에 대해 pytest 스타일의 테스트를 작성할 수 있는 오픈소스 Python 프레임워크입니다. G-Eval 및 JevEval과 같은 LLM-as-a-judge 점수를 포함하여 30개 이상의 내장 메트릭을 제공하며, 에이전트, RAG, 멀티모달 및 편향 관련 검사도 지원합니다. 메트릭은 로컬에서 실행하거나 선택한 모든 LLM을 사용하여 실행할 수 있습니다. 이 라이브러리는 LangChain, CrewAI, OpenAI, Anthropic, AWS AgentCore, Google ADK, LlamaIndex 및 TypeScript AI SDK와 통합되어 데코레이터와 콜백을 통해 전체 실행 추적을 캡처합니다. 간단한 CLI(`deepeval test run …`)는 CI/CD에서 작동하며, 선택 사항인 Confident AI 플랫폼은 클라우드 보고 및 거버넌스 기능을 추가합니다. `pip install -U deepeval`로 설치하고 `LLMTestCase` 객체를 작성한 뒤 메트릭을 선택하여 실행하면, LLM 품질 테스트를 기존 소프트웨어 테스트만큼 체계적으로 수행할 수 있습니다.