Hugging Face Hub RL Environments統合

Hugging Faceは、RL Environments（強化学習環境）をHubに統合しました。これにより、エージェントAIシステムの学習や評価に使用されるタスクセットをホスト、検索、バージョン管理するための集中型システムが提供されます。この動きは、環境をデータ（具体的にはタスクセットとランタイム）として扱い、標準的なデータセットリポジトリ内でホストすることで、サイロ化された環境レジストリへの依存を排除することを目的としています。

RL環境の検索の集約

Hugging Face Hubには、RL Environmentsフィルター (huggingface.co/datasets?other=rl-environment) が追加されました。これにより、ユーザーは基盤となるフレームワークに関係なく、RL環境としてタグ付けされたデータセットを検索できるようになります。環境ファイルにデータセットリポジトリを活用することで、Hubはバージョン管理、ゲート制御、データ提供のための既存インフラストラクチャを利用し、個別の環境レジストリを不要にします。

フレームワークの互換性とタグ付け

使いやすさを向上させるため、Hugging Faceは4つの初期環境フレームワークをデータセットライブラリとして登録しました。データセットにこれらのフレームワークのいずれかがタグ付けされると、Hubはそのフレームワークのアイコンを表示し、そのツール専用の「Use this dataset」コマンドスニペットを生成します。

タグ フレームワーク
harbor Harbor
verifiers Verifiers
openenv OpenEnv
nemo-gym NeMo Gym

データセットが複数のランタイムと互換性がある場合、複数のフレームワークタグを付与することができ、互換性が排他的ではないことを保証します。

技術的な実装と実行

Hub上のRL環境は、タスクセット（データ）とランタイム（実行エンジン）に分割されています。Hubはタスクデータをホストし、ランタイム設定と検証コードはリポジトリ内、またはフレームワーク自体の中に存在します。

実行ワークフロー

  • Harbor: Hubリポジトリからタスクディレクトリを読み込みます。オラクルエージェントが参照ソリューションを実行し、検証者が結果をスコアリングします。
  • Verifiers: 同じタスクディレクトリを異なるランタイム（Dockerなど）で実行でき、最小限のbashハーネスなど、さまざまなハーネスをサポートしています。
  • OpenEnv: Harbor統合を使用してエージェント（OpenCodeなど）でタスクディレクトリを実行し、エージェントのトレースとともに検証者の報酬を返します。
  • NeMo Gym: 軌跡を収集して報酬を計算することで、評価とRL学習の両方をサポートします（構造化出力におけるスキーマ準拠への報酬など）。

クラウドワークロードについては、Hugging Face Jobsを使用して実行でき、Hugging Face Sandboxes（Jobs上に構築）は対話型のコマンド実行を提供します。

利用可能な環境

サポートされているフレームワーク全体でPRを通じて、すでにいくつかの環境がHubに統合されています。

  • Harbor: BeyondSWE、Terminal-Lego、Harbor-Mix、NatureBenchが含まれます。
  • Verifiers: Reverse-Text-RL、Multi-SWE-RL-Verified、R2E-Gym-Subset-Verified、Scale-SWE-Verifiedが含まれます。
  • NeMo Gym: Workplace Assistant、Structured Outputs、CFBench、SysBenchが含まれます。

今後のロードマップ

RL Environments統合の今後のアップデートには以下が含まれます：

  • 設定ごとのスニペット: 複数のタスクセットを含むリポジトリに対して、特定のコマンドを生成します。
  • 構造検出: 厳格なレイアウト要件を持つフレームワークに対して、自動検出を実装します。
  • カスタムタスクUI: タスクを操作するための専用ユーザーインターフェースを開発します。
  • 自動タグ付け: フレームワークのメンテナーがアップロードパスにタグ付けを統合することを推奨し、公開されたすべての環境がHub上で自動的に表示されるようにします。

Sources