Hugging Face Hub RL 环境集成

Hugging Face 已将 RL 环境集成到 Hub 中，提供了一个用于托管、发现和版本控制训练及评估智能体 AI 系统所需任务集（tasksets）的中心化系统。此举旨在通过将环境视为数据（具体而言是任务集和运行时），并将其托管在标准数据集仓库中，从而消除对孤立环境注册表的依赖。

中心化 RL 环境发现

Hugging Face Hub 现在提供了一个 RL 环境过滤器 (huggingface.co/datasets?other=rl-environment)，允许用户查找任何标记为 RL 环境的数据集，无论其底层框架如何。通过利用数据集仓库来存储环境文件，Hub 利用其现有的基础设施进行版本控制、门控和数据服务，无需再使用单独的环境注册表。

框架兼容性与标记

为了方便使用，Hugging Face 已将四个初始环境框架注册为数据集库。当数据集被标记为其中一个框架时，Hub 会显示该框架的图标，并为该特定工具生成“使用此数据集”的命令片段。

标签 框架
harbor Harbor
verifiers Verifiers
openenv OpenEnv
nemo-gym NeMo Gym

如果数据集与多个运行时兼容，则可以携带多个框架标签，确保兼容性不是排他的。

技术实现与执行

Hub 上的 RL 环境分为 任务集（数据）和 运行时（执行引擎）。Hub 托管任务数据，而运行时配置和验证器代码则驻留在仓库中或框架本身内。

执行工作流

  • Harbor: 从 Hub 仓库加载任务目录。预言机智能体（oracle agent）运行参考解决方案，验证器对结果进行评分。
  • Verifiers: 可以在不同的运行时（例如 Docker）中运行相同的任务目录，并支持各种测试工具，例如最小化的 bash 测试工具。
  • OpenEnv: 使用 Harbor 集成来运行带有智能体（例如 OpenCode）的任务目录，并返回验证器的奖励以及智能体的轨迹。
  • NeMo Gym: 通过收集轨迹和计算奖励来支持评估和 RL 训练，例如奖励结构化输出中的模式遵循。

对于云工作负载，可以使用 Hugging Face Jobs 进行执行，而 Hugging Face Sandboxes（基于 Jobs 构建）则提供交互式命令执行。

可用环境

通过跨支持框架的 PR，一些环境已经集成到 Hub 中：

  • Harbor: 包括 BeyondSWE、Terminal-Lego、Harbor-Mix 和 NatureBench。
  • Verifiers: 包括 Reverse-Text-RL、Multi-SWE-RL-Verified、R2E-Gym-Subset-Verified 和 Scale-SWE-Verified。
  • NeMo Gym: 包括 Workplace Assistant、Structured Outputs、CFBench 和 SysBench。

未来路线图

RL 环境集成的后续更新包括：

  • 按配置的代码片段: 为包含多个任务集的仓库生成特定命令。
  • 结构检测: 为具有严格布局要求的框架实现自动检测。
  • 自定义任务 UI: 开发用于与任务交互的专用用户界面。
  • 自动标记: 鼓励框架维护者将标记集成到其上传路径中，使所有发布的环境都能在 Hub 上自动可见。

Sources