allenai/reward-bench

RewardBench: the first evaluation tool for reward models.

解決する課題

RewardBench は、LLM を人間の選好に整合させるために用いられる報酬モデル（RM）の能力と安全性を評価するための標準化された方法を提供します。これは、Direct Preference Optimization（DPO）で訓練されたモデルや生成的な「LLM-as-a-judge」モデルを含め、これらのモデルに対する一貫したベンチマークが不足しているという問題に対処します。

仕組み

このプロジェクトは、報酬モデルが「chosen」と「rejected」の応答をどれだけ適切に区別できるかをテストするためのツールとデータセットのスイートを提供します。含まれるものは次のとおりです：

  • 推論コード：さまざまな報酬モデル（例：Starling、PairRM、OpenAssistant）を実行するための統合コード。
  • 評価スクリプト：標準的な報酬モデル（run_rm.py）、DPO モデル（run_dpo.py）、および更新された RewardBench 2（run_v2.py）向けの専用スクリプト。
  • 生成的サポート：ローカルの vLLM 推論または API（OpenAI、Anthropic、Google Gemini、Together）を通じて LLM を審査者として使用するためのツール。
  • 分析ツール：結果の可視化、セクション別スコア（Chat、Safety、Reasoning）の計算、報酬モデルのアンサンブルのテストのためのユーティリティ。

対象者

  • AI 研究者：新しい報酬モデルや選好最適化手法を開発・テストする人。
  • ML エンジニア：RLHF パイプラインに展開する前に報酬モデルの安全性と品質を評価する人。
  • モデル開発者：公開リーダーボードと自モデルを比較して性能を測る人。

ハイライト

  • 幅広いモデル対応：シーケンス分類器、DPO/KTO モデル、生成的な審査者と互換性があります。
  • RewardBench 2：「best-of-4」および「Ties」データセット向けの高度なデータ処理を含みます。
  • 柔軟なデプロイ：uv または pip によるインストールをサポートし、再現可能な研究のための Docker イメージを提供します。
  • 統合：評価結果とモデルメタデータを Hugging Face Hub に直接プッシュできます。

関連

  • プロジェクト
    MatthewCYM/VoiceBench

    VoiceBench は、LLMベースの音声アシスタントを評価するためのベンチマークスイートです。音声駆動型 QA および指示追従タスクを備えた Hugging Face データセットを提供し、モデルを実行し、音声応答を収集して自動スコアリングする（GPT-4o-mini を使用）コマンドラインツールキットも提供します。結果は公開リーダーボードに掲載され、リポジトリには最近の音声アシスタント関連論文のリストも含まれています。

  • プロジェクト
    stanford-star/relbench

    RelBenchは、リレーショナルデータベース上のディープラーニングのためのオープンソース・ベンチマークスイートです。すぐに読み込める実世界のデータセット、統一されたタスクAPI、PyTorch-Geometricの例、公開リーダーボードを提供し、ユーザーがシンプルなフォルダー形式で独自のデータを追加することも可能です。

  • プロジェクト
    run-llama/ParseBench

    ParseBench は、企業向け2,000ページのデータセットを用いて、テーブル、チャート、コンテンツ忠実性、意味的フォーマット、視覚的接地性の5つの次元でPDF解析ツールを評価する Apache-2.0 ベンチマークです。CLI、180以上の準備済みパイプライン（LlamaParse、OpenAI、Anthropic、Google、Azureなど）、確定的ルールベースのメトリクスを備え、インタラクティブなHTMLレポートとランク付けを生成します。

  • プロジェクト
    huggingface/optimum-benchmark

    Optimum‑Benchmark は、Transformers、Diffusers、PEFT など、さまざまなバックエンド（PyTorch、ONNX Runtime、OpenVINO、vLLM、TensorRT‑LLM、IPEX、Llama‑Cpp、Py‑TXI）およびデバイス（CPU、CUDA、ROCm、XPU、HPU）上で推論および学習のパフォーマンス（レイテンシ、メモリ、エネルギー、スループット）を測定する Hugging Face ライブラリです。Python API と Hydra ベースの CLI を提供し、分散起動をサポートし、再現可能なレポートを生成して Hugging Face Hub にプッシュできます。

  • プロジェクト
    X-GenGroup/Flow-Factory

    Flow‑Factoryは、画像、動画、音声・動画タスクにおけるディフュージョンおよびフローマッチング生成モデルの、教師ありファインチューニングと強化学習スタイルの最適化（GRPO、DPO、DPPOなど）を統合するオープンソースPythonフレームワークです。多くの最先端モデル（Stable‑Diffusion 3.5、FLUX 1/2、Qwen‑Image、Wan2.x、MiniMax H3など）をサポートし、柔軟なYAML駆動のトレーニングパイプラインを提供、人気のある実験追跡ツールと統合、新規モデルやデータセットの追加ガイドも提供しています。