Hugging Face Open LLM Leaderboard DROP 벤치마크 분석

TL;DR

Hugging Face는 Open LLM Leaderboard에서 DROP (Discrete Reasoning Over Paragraphs) 벤치마크를 제거했습니다. 기술적인 심층 분석을 통해, EleutherAI Harness에서 재현된 해당 벤치마크의 원래 구현에 정규화와 생성 종료 토큰에 대한 중요한 결함이 있어 고성능 모델을 체계적으로 불이익을 주고 부동소수점 답변을 무효화한다는 것이 밝혀졌습니다.

DROP 벤치마크와 초기 이상 현상

DROP은 모델이 영어 텍스트 단락에서 정보를 추출하고, 카운팅이나 정렬과 같은 이산 추론 단계를 수행하여 최종 답을 도출하도록 요구합니다. 성능은 맞춤형 f1 점수와 정확 일치 점수를 사용해 측정됩니다.

DROP을 Open LLM Leaderboard에 통합한 후, Hugging Face는 점수의 양극형 분포를 관찰했습니다. 소수의 모델은 DROP 점수와 전체 리더보드 평균(ARC, HellaSwag, TruthfulQA, MMLU) 사이에 상관관계를 보였지만, 대부분의 모델은 일반적인 능력과 관계없이 f1 점수가 10 이하에 머물렀습니다.

원인 1: 정규화 실패

조사 결과, 정규화 과정이 표준 공백이 아닌 다른 공백 문자(예: 줄 바꿈) 뒤에 오는 숫자 답변을 올바르게 식별하지 못하는 것으로 드러났습니다.

실패 메커니즘은 다음과 같습니다:

  1. 분리: 시스템은 문자열을 |, -, 또는 \n 기준으로 분할합니다.
  2. 구두점 제거: 구두점이 제거됩니다.
  3. 숫자 동질화: float으로 변환 가능한 문자열은 float으로 변환된 뒤 다시 문자열로 변환됩니다(예: 10은 10.0이 됩니다).

모델이 정답 뒤에 줄 바꿈을 포함해 생성하면(예: 10\n\nPassage:), 정규화 단계에서 전체 문자열을 float으로 변환하지 못합니다. 결과적으로 답변은 비숫자 문자열로 처리되어 정답(10.0으로 정규화된)과 일치하지 못합니다. 따라서 모델이 올바른 값을 예측했음에도 실패로 처리됩니다.

원인 2: 종료 토큰 간섭

Zeno와의 협업 분석을 통해, 생성 종료를 위해 마침표(.)를 종료 토큰으로 사용함으로써 발생하는 두 가지 추가적인 시스템적 문제가 확인되었습니다:

  • 부동소수점 삭제: 종료 토큰이 마침표이기 때문에, 부동소수점 숫자를 필요로 하는 답변(예: 12.25)은 소수점에서 즉시 중단되어 어떤 모델도 올바른 부동소수점 결과를 얻을 수 없습니다.
  • 장문 답변에 대한 페널티: 몇-샷 프롬프트 형식을 따르려는 고품질 모델은 답변 뒤에 다음 질문에 대한 가능한 프롬프트를 생성하는 경우가 많습니다. 생성은 해당 프롬프트에서 처음 등장하는 마침표에서만 중단되므로 모델이 과도한 토큰을 생성하게 되고, 이는 f1 점수를 낮춥니다.

영향 및 해결 방안

Hugging Face는 마침표 대신 첫 번째 줄 바꿈(\n)을 기준으로 생성된 답변을 분할하는 부분적인 수정안을 테스트했습니다. 이 근사 방법은 DROP 점수와 전체 모델 성능 사이에 훨씬 강한 상관관계를 보여주었으며, 종료 토큰이 왜곡된 결과의 주요 원인임을 확인했습니다.

하지만 전체 수정은 모든 부동소수점 답변과 정규화 영향을 받은 답변을 포함해 50% 이상의 예제를 다시 실행해야 하며, 이는 막대한 GPU 시간이 필요합니다.

EleutherAI Harness 구현이 원래 "official DROP" 코드를 엄격히 따르고 있기 때문에, Hugging Face는 벤치마크의 평가 로직 자체에 결함이 있다고 결론지었습니다. 따라서 DROP은 새로운, 수정된 평가 버전이 개발될 때까지 Open LLM Leaderboard에서 제거되었습니다. 팀은 현재 점수 및 정규화 로직을 수정하기 위해 커뮤니티와 학계의 협력을 요청하고 있습니다.

SUMMARY: Hugging Face는 정규화와 종료 토큰 설정의 결함으로 대부분의 모델이 잘못 낮은 점수를 받게 된 것을 발견한 후, DROP 벤치마크를 Open LLM Leaderboard에서 제거했습니다.

TITLE: Hugging Face Open LLM Leaderboard DROP 벤치마크 분석

Sources