NeurIPS 2025 E2LM コンペティション：言語モデルの早期トレーニング評価

Hugging Face と提携機関は、NeurIPS 2025 E2LM（Early Training Evaluation of Language Models）コンペティションを発表しました。この取り組みは、トレーニング初期段階（モデルが約 2000 億トークン以下で学習された時）において、大規模言語モデル（LLM）の推論や科学的知識のシグナルを効果的に捉える新しいベンチマークを作成することを目的としています。

初期段階評価の課題

既存の評価ベンチマークは、LLM 開発の初期段階で判別的なシグナルを提供できないことが多いです。研究者がアーキテクチャ、データミックス、ハイパーパラメータをテストするためにアブレーション実験を行う際、通常はトレーニングロス曲線や評価スコアに依存します。しかし、これらの指標はモデルがトレーニング初期段階（約 2000 億トークンまで）にあるときに、決定的な洞察を提供するために必要な感度が不足しています。

コンペティションの枠組みと参加方法

参加者は lm-evaluation-harness ライブラリを使用してベンチマークを構築することが課題です。提出物は専用の Hugging Face 組織と Hugging Face Space を通じて管理され、アクティブなリーダーボードでパフォーマンスが追跡されます。

参入障壁を下げるために、コンペティションでは無料枠の Google Colab GPU で実行可能な Small Language Models（SLM）を利用します。ノートブックを含む包括的なスターキットが提供され、参加者が提出を開始しやすくしています。

評価指標とスコアリング

各提出物のグローバルスコアは、シグナル品質と科学的正確性を優先するよう設計された 3 つの主要指標の加重合計です。

• シグナル品質スコア (Score SQ): 重み 0.5。
• 科学的知識適合スコア (Score CS): 重み 0.4。
• ランキング一貫性スコア (Score RC): 重み 0.1。

グローバルスコア式: Score = 0.5 * Score SQ + 0.1 * Score RC + 0.4 * Score CS

バリデーション手順

結果の整合性を確保するため、すべての提出物は 2 つのバリデーションチェックを受けます。

1. Scientific Alignment（科学的整合性）: ベンチマークが確立された科学的知識領域と整合していることを検証します。
2. Leakage Detection（情報漏洩検出）: 質問プロンプト内に回答が含まれていないかをチェックし、情報漏洩を防止します。

チェックポイントへのアクセス

参加者が特定のモデルに対して解決策を過剰適合させることを防ぐため、コンペティションはチェックポイントに対して階層的なアクセスシステムを採用しています。

• Local Computation（ローカル計算）: 参加者は、0 から 200 BT まで学習された 3 つの SLM（0.5B、1B、3B パラメータ）のチェックポイントを使用してシグナル品質サブスコアをローカルで計算できます。
• Hidden Checkpoints（非公開チェックポイント）: ランキング一貫性やその他のサブスコアは、Hugging Face Space を通じて非公開チェックポイントを使用して自動的に計算されます。これには、200 GT から 1 T トークンまで学習されたモデルや、ウェブデータのみで学習された 0.5B パラメータモデルが含まれます。

コンペティションのタイムライン

フェーズ	日付
キックオフ	14 July 2025
ウォームアップフェーズ	14 July 2025 - 17 August 2025
開発フェーズ	18 August 2025 - 26 October 2025
最終フェーズ	27 October 2025 - 03 November 2025
結果発表	04 November 2025
受賞者のファクトシートとコード公開	22 November 2025
NeurIPS ワークショップ発表	6 or 7 December 2025

賞金と表彰

上位 3 名の総合順位と特定の学生実績に対して現金賞が授与されます。

• 1位: 6,000 USD
• 2位: 4,000 USD
• 3位: 2,000 USD
• 学生賞: 学生が検証した上位 2 つのソリューションに対し、各 2,000 USD の賞が2つ授与されます。