HowieHwong/TrustLLM

해결하는 문제

TrustLLM은 대규모 언어 모델(LLM)의 신뢰성을 측정하는 표준화된 방법을 제공합니다. 단일 지표에 의존하는 대신 진실성, 안전성, 공정성, 견고성, 개인정보 보호, 윤리라는 6가지 핵심 차원에서 모델을 평가합니다. 이를 통해 연구자와 개발자는 모델의 환각 현상, 개인정보 유출, 편향성 노출과 같은 특정 약점을 파악할 수 있습니다.

작동 방식

이 툴킷은 3단계 파이프라인으로 작동합니다:

1. 데이터 획득: 6가지 신뢰성 차원을 테스트하기 위해 설계된 프롬프트가 포함된 포괄적인 벤치마크 데이터셋을 다운로드합니다.
2. 생성: API(OpenAI 등) 또는 로컬 가중치(Hugging Face 경유)를 사용하여 대상 모델에 프롬프트를 입력하고 응답을 저장합니다.
3. 평가: 스코어링 엔진이 규칙 기반 검사, 분류기, 임베딩 또는 AI 기반 판정을 조합하여 생성된 응답을 처리하고 최종 신뢰성 점수를 산출합니다.

대상 사용자

배포 전이나 학술 연구의 일환으로 LLM의 신뢰성과 안전성을 엄격하게 벤치마킹해야 하는 AI 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 6차원 분석: 진실성, 안전성, 공정성, 견고성, 개인정보 보호, 윤리를 포괄합니다.
• 유연한 백엔드: 로컬 모델 가중치와 API 기반 생성 방식을 모두 지원합니다.
• Python API: 오케스트레이션을 위한 명령줄 인터페이스(CLI)와 Python 라이브러리를 제공합니다.
• 자동 보고서 생성: 생성 진행 상황과 최종 평가 점수에 대한 HTML 보고서를 생성합니다.