NeurIPS 2025 E2LM Competition: 언어 모델의 초기 학습 평가
Hugging Face와 관련 기관은 NeurIPS 2025 E2LM (Early Training Evaluation of Language Models) 대회를 발표했습니다. 이 이니셔티브는 대규모 언어 모델(LLM)이 약 2000억 토큰 이하로 학습된 초기 단계에서 추론 및 과학 지식 신호를 효과적으로 포착할 수 있는 새로운 벤치마크를 만드는 것을 목표로 합니다.
초기 단계 평가의 과제
기존 평가 벤치마크는 LLM 개발 초기 단계에서 차별화된 신호를 제공하지 못하는 경우가 많습니다. 연구자들이 아키텍처, 데이터 혼합, 하이퍼파라미터를 테스트하기 위해 절제 실험을 수행할 때 보통 훈련 손실 곡선과 평가 점수에 의존합니다. 그러나 이러한 지표는 모델이 초기 학습 단계(약 2000억 토큰까지)일 때 결론적인 통찰을 제공할 만큼 충분히 민감하지 않을 때가 많습니다.
대회 프레임워크 및 참여
참가자는 lm-evaluation-harness 라이브러리를 사용해 벤치마크를 구축해야 합니다. 제출물은 전용 Hugging Face 조직과 Hugging Face Space를 통해 관리되며, 활성화된 리더보드가 성능을 추적합니다.
진입 장벽을 낮추기 위해 대회는 무료 티어 Google Colab GPU에서 실행 가능한 Small Language Models(SLMs)을 활용합니다. 노트북을 포함한 포괄적인 시작 키트가 제공되어 참가자가 제출을 시작할 수 있도록 돕습니다.
평가 지표 및 점수 산정
각 제출물에 대한 전반적인 점수는 세 가지 주요 지표의 가중 합계이며, 신호 품질과 과학적 정확성을 우선시하도록 설계되었습니다:
- Signal Quality Score (Score SQ): 가중치 0.5.
- Compliance with Scientific Knowledge Score (Score CS): 가중치 0.4.
- Ranking Consistency Score (Score RC): 가중치 0.1.
Global Score Formula: Score = 0.5 * Score SQ + 0.1 * Score RC + 0.4 * Score CS
검증 절차
모든 제출물은 결과의 무결성을 보장하기 위해 두 가지 검증 검사를 거칩니다:
- Scientific Alignment: 벤치마크가 확립된 과학 지식 영역과 일치하는지 확인합니다.
- Leakage Detection: 질문 프롬프트 내에 답변이 포함되어 정보 누수가 발생하지 않도록 검사합니다.
체크포인트 접근성
특정 모델에 대한 과적합을 방지하기 위해 대회는 체크포인트에 대한 단계적 접근 시스템을 사용합니다:
- Local Computation: 참가자는 0~200 BT(억 토큰)까지 학습된 세 가지 SLM(0.5 B, 1 B, 3 B 파라미터)의 체크포인트를 이용해 Signal Quality 하위 점수를 로컬에서 계산할 수 있습니다.
- Hidden Checkpoints: Ranking Consistency 및 기타 하위 점수는 Hugging Face Space에서 숨겨진 체크포인트를 사용해 자동으로 계산됩니다. 여기에는 200 GT~1 T 토큰까지 학습된 모델과 웹 데이터만으로 학습된 0.5 B 파라미터 모델이 포함됩니다.
대회 일정
| Phase | Dates |
|---|---|
| Kick-off | 2025년 7월 14일 |
| Warm-up Phase | 2025년 7월 14일 - 2025년 8월 17일 |
| Development Phase | 2025년 8월 18일 - 2025년 10월 26일 |
| Final Phase | 2025년 10월 27일 - 2025년 11월 3일 |
| Results Announcement | 2025년 11월 4일 |
| Winners' Fact Sheets & Code Release | 2025년 11월 22일 |
| NeurIPS Workshop Presentation | 2025년 12월 6일 또는 7일 |
시상 및 상금
상금은 전체 상위 3위와 특정 학생 성과에 대해 현금으로 지급됩니다:
- 1위: 6,000 USD
- 2위: 4,000 USD
- 3위: 2,000 USD
- 학생 상: 상위 두 개의 학생 검증 솔루션에 각각 2,000 USD씩 지급됩니다.