SeekingDream/Static-to-Dynamic-LLMEval

해결하는 문제

대규모 언어 모델(LLM)은 인터넷에서 수집된 방대한 양의 텍스트로 훈련됩니다. 때로는 모델을 테스트하는 데 사용되는 질문과 답변이 우연히 훈련 데이터에 포함될 수 있습니다. 이를 데이터 오염이라고 하며, 벤치마크 점수가 실제보다 좋아 보이게 만듭니다. 전통적인 정적 벤치마크(고정된 질문 세트)는 동일한 테스트 항목이 훈련 데이터에 나타날 수 있기 때문에 특히 취약합니다. 이 서베이는 필드가 정적 벤치마크에서 동적 벤치마크로 이동하는 방식을 검토하여 이 문제를 해결합니다. 동적 벤치마크는 새로운 테스트 항목을 생성하거나 시간이 지남에 따라 변경되어 오염을 줄입니다.

작동 방식

이 저장소는 소프트웨어 도구가 아닌 서베이 논문입니다. LLM 평가에 관한 발표된 연구를 체계적으로 검토합니다. 먼저 정적 벤치마크를 더 안전하게 만들기 위한 시도(예: 카나리 문자열, 암호화, 레이블 보호, 사후 탐지)를 살펴보고 각 방법의 한계를 설명합니다. 그런 다음 새로운 테스트 자료를 즉석에서 생성하여 오염을 피하는 동적 벤치마크를 조사합니다. 서베이는 동적 접근 방식을 시간적 컷오프, 규칙 기반 생성(템플릿 기반, 테이블 기반, 그래프 기반), LLM 기반 생성(벤치마크 재작성, 대화형 평가, 다중 에이전트 평가), 하이브리드 생성, 네트워크 및 시스템 방법으로 분류합니다. 이 검토를 바탕으로 저자들은 동적 벤치마크를 위한 설계 원칙을 제안하고 현재 그러한 벤치마크를 평가하기 위한 표준 기준이 없다는 점을 지적합니다.

대상 독자

주로 LLM 벤치마크를 구축하거나 사용하는 연구자와 엔지니어를 대상으로 합니다. 평가 스위트를 개발 중이거나, 모델 능력을 측정하는 테스트를 설계 중이거나, 모델의 보고된 점수가 테스트 데이터 유출로 인해 부풀려졌을까 걱정된다면, 이 서베이는 현재 환경과 미해결 문제에 대한 구조화된 개요를 제공합니다.

주요 특징

• 데이터 오염에 대한 정적 및 동적 벤치마킹 방법의 체계적인 분류를 제공합니다.
• 정적 벤치마크의 완화 기술(카나리 문자열, 암호화, 레이블 보호, 사후 탐지)과 다양한 동적 벤치마킹 접근 방식을 모두 다룹니다.
• 중요한 격차를 강조합니다: 동적 벤치마크에 대한 표준화된 평가 기준의 부재.
• 기존 방법 분석을 기반으로 동적 벤치마킹을 위한 최적의 설계 원칙을 제안합니다.
• 관련 논문의 대규모 선별 목록과 링크를 포함하며, 풀 리퀘스트를 통한 커뮤니티 기여를 환영합니다.