PacificAI/langtest

해결하는 문제

LangTest는 데이터 과학자가 언어 모델이 안전하고 강건하며 공정함을 보장할 수 있도록 도와주는 도구입니다. 단순한 정확도를 넘어서 모델 품질을 평가할 수 있는 즉시 사용 가능한 도구의 부족을 해결하며, 특히 인구 통계적 편향, 독성, 실제 환경에서의 일관성 부족과 같은 문제에 초점을 맞춥니다.

작동 방식

이 라이브러리는 사용자가 60가지 이상의 다양한 유형의 테스트를 생성하고 실행하며 보고할 수 있도록 해주는 Harness 객체를 제공합니다. NER, 번역, 텍스트 분류와 같은 다양한 NLP 작업을 지원하며, Hugging Face, Spark NLP, 그리고 다양한 LLM 제공업체(OpenAI, Cohere, AI21, Azure-OpenAI)와 통합됩니다.

대상 사용자

생산 시스템에 모델을 배포하기 전에 강건성, 공정성, 안전성을 철저히 테스트해야 하는 NLP 전문가 및 데이터 과학자에게 적합합니다.

주요 특징

• 포괄적인 테스트: 강건성, 편향, 표현, 공정성, 정확도를 모두 커버합니다.
• 자동 데이터 증강: 특정 모델에 대해 테스트 결과를 기반으로 훈련 데이터를 자동으로 증강할 수 있습니다.
• LLM 지원: 사실성, 복종성, 독성과 같은 LLM 전용 테스트를 제공합니다.
• 광범위한 통합: 다양한 NLP 프레임워크와 LLM API와 호환됩니다.