allenai/reward-bench

RewardBench: the first evaluation tool for reward models.

它解决了什么问题

RewardBench 提供了一套标准化的方式，用来评估奖励模型（RMs）的能力与安全性，这些模型用于让 LLM 与人类偏好对齐。它解决了这些模型缺乏一致基准测试的问题，包括通过直接偏好优化（DPO）训练的模型，以及生成式“LLM-as-a-judge”模型。

它如何运作

该项目提供了一套工具与数据集，用来测试奖励模型区分“chosen”与“rejected”响应的能力。它包括：

  • 推理代码：用于运行各种奖励模型的统一代码（例如 Starling、PairRM、OpenAssistant）。
  • 评估脚本：针对标准奖励模型（run_rm.py）、DPO 模型（run_dpo.py）以及更新版 RewardBench 2（run_v2.py）的专用脚本。
  • 生成式支持：通过本地 vLLM 推理或 API（OpenAI、Anthropic、Google Gemini、Together）将 LLM 用作评审的工具。
  • 分析工具：用于可视化结果、计算各分区分数（Chat、Safety、Reasoning），以及测试奖励模型集成（ensembles）的实用工具。

适合谁使用

  • AI 研究人员：开发与测试新的奖励模型或偏好优化技术。
  • ML 工程师：在将奖励模型部署到 RLHF 流程之前，评估其安全性与质量。
  • 模型开发者：将自己的模型与公开排行榜进行比较，以衡量性能。

亮点

  • 广泛的模型支持：兼容序列分类器、DPO/KTO 模型，以及生成式评审。
  • RewardBench 2：包含针对“best-of-4”与“Ties”数据集的高级数据处理。
  • 灵活部署：支持通过 uv 或 pip 安装，并提供 Docker 镜像以实现可复现的研究。
  • 集成：允许将评估结果与模型元数据直接推送至 Hugging Face Hub。

相关

  • 项目
    MatthewCYM/VoiceBench

    VoiceBench 是一个用于评估基于大语言模型（LLM）的语音助手的基准套件。它提供了一个包含音频驱动问答和指令遵循任务的 Hugging Face 数据集，一个命令行工具包用于运行模型、收集语音响应并自动评分（部分使用 GPT-4o-mini）。结果发布在公开排行榜上，仓库还包含一份近期语音助手相关论文的精选列表。

  • 项目
    stanford-star/relbench

    RelBench 是一个用于关系数据库深度学习的开源基准测试套件，提供可直接加载的真实世界数据集、统一的任务 API、PyTorch-Geometric 示例、公开排行榜，并支持用户通过简单的文件夹格式加入自己的数据。

  • 项目
    run-llama/ParseBench

    ParseBench 是一个 Apache-2.0 开源基准测试，使用 2,000 页企业级数据集，在表格、图表、内容忠实度、语义格式和视觉定位五个维度上评估 PDF 解析工具。它提供 CLI、180 多个预设管道（LlamaParse、OpenAI、Anthropic、Google、Azure 等）、确定性规则度量，并生成交互式 HTML 报告和排行榜。

  • 项目
    huggingface/optimum-benchmark

    Optimum‑Benchmark 是一个 Hugging  Face 库，用于测量 Transformers、Diffusers、PEFT 等模型在多种后端（PyTorch、ONNX  Runtime、OpenVINO、vLLM、TensorRT‑LLM、IPEX、Llama‑Cpp、Py‑TXI）和设备（CPU、CUDA、ROCm、XPU、HPU）上的推理和训练性能（延迟、内存、能耗、吞吐量）。它提供 Python API 和基于 Hydra 的 CLI，支持分布式启动，并输出可复现的报告，可推送到 Hugging  Face Hub。

  • 项目
    X-GenGroup/Flow-Factory

    Flow‑Factory 是一个开源 Python 框架，统一了扩散和流匹配生成模型在图像、视频和音视频任务中的监督微调与强化学习风格优化（GRPO、DPO、DPPO 等）。支持众多前沿模型（Stable‑Diffusion 3.5、FLUX 1/2、Qwen‑Image、Wan2.x、MiniMax H3 等），提供灵活的 YAML 驱动训练流程，集成主流实验追踪工具，并提供添加新模型或数据集的详细指南。