EdinburghNLP/awesome-hallucination-detection

해결하는 문제

이 프로젝트는 대규모 언어 모델(LLMs) 및 멀티모달 대규모 언어 모델(MLLMs)이 사실과 다르거나, 제공된 문맥과 모순되거나, 시각적 데이터에 의해 뒷받침되지 않는 정보를 생성하는 '환각(hallucination)' 경향을 다룹니다. 이 프로젝트는 이러한 오류를 탐지, 측정 및 완화하기 위해 설계된 연구 논문, 데이터셋 및 방법론을 위한 중앙 저장소 역할을 합니다.

작동 방식

이 저장소는 환각을 관리하기 위한 최신 연구들을 다양한 접근 방식으로 정리합니다. 여기에는 다음이 포함됩니다:

• 탐지: 외부 레이블 없이 모델 내부 신호(어텐션 맵, 엔트로피, 은닉 상태 등)를 분석하여 잠재적인 환각을 표시하는 방법.
• 완화: 모델 활성화를 '조정(steering)'하거나, 부정확한 응답을 유발하는 특정 계층을 억제하거나, 강화 학습을 사용하여 사실적 정확성을 우선시하는 기술.
• 평가: 모델이 사실적 주장, 과학적 비판 및 멀티모달 데이터를 얼마나 잘 처리하는지 테스트하기 위해 설계된 벤치마크 및 지표. 동시에 ROUGE와 같은 기존 평가 방법의 한계를 지적합니다.

대상 독자

이 리소스는 더 신뢰할 수 있고 사실을 인식하는 LLM 애플리케이션을 구축하는 AI 연구원, 개발자 및 엔지니어를 위한 것입니다. 특히 RAG (Retrieval-Augmented Generation) 시스템을 구현하거나 프로덕션 환경에서 모델의 사실적 일관성을 개선하려는 분들에게 유용합니다.

주요 특징

• 엄선된 연구: 환각 탐지 및 완화를 다루는 145개 이상의 학술 논문 컬렉션.
• 다양한 방법론: 학습이 필요 없는 추론 기술, RL 기반 미세 조정, 어텐션 그래프의 위상 분석 등을 포함.
• 멀티모달 지원: 시각 정보를 조정하여 시각-언어 모델의 환각을 줄이는 데 초점을 맞춘 특정 연구 제공.
• 벤치마크 액세스: 모델의 사실성 및 비판 능력을 테스트하기 위한 데이터셋 및 리더보드 링크 제공.
• 실용적인 도구: 기존 워크플로우에 통합할 수 있는 오픈 소스 코드 및 라이브러리 강조.