Qwen2.5-Math-PRMとProcessBenchのリリース

Qwenは、新しいProcess Reward Model（PRM）であるQwen2.5-Math-PRM-7BとQwen2.5-Math-PRM-72B、そしてProcessBenchと呼ばれる新しい評価ベンチマークをリリースしました。これらのリリースは、最終答案に頼るだけではなく、中間推論ステップのエラーを特定および軽減することにより、大規模言語モデル（LLM）における数学的推論の信頼性を向上させることを目的としています。

ProcessBench: ステップレベル評価ベンチマーク

ProcessBenchは、数学的推論における誤ったステップの正確な位置を特定するモデルの能力を測定するように設計されています。従来の回答レベル評価とは異なり、ProcessBenchは解答のステップバイステップ検証に焦点を当てています。

• データセット構成: ベンチマークは3,400のテストケースから構成されており、主に競技レベルおよびオリンピックレベルの数学に焦点を当てています。
• アノテーション: 各テストケースには、人間の専門家がエラーの位置を注釈したステップバイステップの解答が含まれています。
• タスク: モデルは、エラーを含む最も早いステップを特定する能力、または解答全体が正しいことを正しく結論付ける能力で評価されます。
• 適用性: このベンチマークは、PRMおよび一般的な「批評家」モデル（一般的なLLMにステップバイステップで解答を批評させるもの）の両方を評価するために使用できます。

Qwen2.5-Math-PRMモデルの機能

Qwenは、Qwen2.5-Math-7B-InstructおよびQwen2.5-Math-72B-Instructをファインチューンした2つのPRMバージョンをリリースしました。これらのモデルは、個々の推論ステップをスコアリングすることでプロセススーパービジョンを提供するように設計されています。

Best-of-N (BoN) パフォーマンス

Best-of-N評価では、PRMは$N$候補の中から最高得点の応答を選択します。Qwen2.5-Math-PRM-7Bについては、$N=8$の応答がQwen2.5-Math-7B-Instructから7つのベンチマーク（GSM8K, MATH, Minerva Math, GaoKao 2023 En, OlympiadBench, College Math, MMLU STEM）でサンプリングされました。

• 性能向上: Qwen2.5-Math-PRM-7Bは、すべての7つのタスクで多数決ベースライン（maj@8）を上回り、平均で1.4%の改善を達成しました。
• 比較: Qwen2.5-Math-PRM-72Bは、Qwen2.5-Math-RM-72Bより全体的に優れた性能を示し、最も顕著な改善はMMLU STEMおよびMinerva Mathタスクで見られました。

ProcessBenchにおけるエラー識別

ProcessBenchでテストしたところ、PRMは誤った推論ステップを識別する高い能力を示しました：

• 競争力: Qwen2.5-Math-PRM-7Bは、他のすべてのオープンソースモデルおよびGPT-4o-0806などのプロプライエタリモデルを上回りました。
• 相対的パフォーマンス: Qwen2.5-Math-PRM-7Bは他のオープンソースPRMより優れているものの、o1-miniと比較すると依然として性能差があります。
• ORMの洞察: アウトカム報酬モデル（ORM）であるQwen2.5-Math-RM-72Bも、ステップエラーを識別する上で顕著な能力を示し、一部のオープンソースPRMを上回りました。

プロセススーパービジョンへのインプリケーション

Qwenは、回答レベルのBest-of-N評価にのみ依存すると潜在的なバイアスが生じ得ることを指摘しています。ProcessBenchを導入することにより、ラボはステップレベル評価のギャップを埋め、PRMのための現在のデータ構築アプローチの限界を強調することを目指しています。これらのモデルとベンチマークのリリースは、スケーラブルな監視およびLLM推論プロセスの信頼性に関する今後の研究を促進することを意図しています。