adithya-s-k/FineEnvs

何を解決するか

FineEnvs は、LLMエージェントの訓練と評価に特化した、オープンソースで再現可能な強化学習（RL）環境のコレクションを提供します。LLM向けのRLにおいて、RLアルゴリズムよりも環境の設計・デプロイがはるかに困難であるというボトルネックに対処しています。

どう動くか

このプロジェクトは、環境の実装、トレーニングスクリプト、結果を統合した自己完結型のエンドツーエンドプロジェクトにコンテンツを整理しています。複数のRLフレームワーク（OpenEnv、ORS、NeMo Gym、Verifiersなど）をサポートし、以下の環境を提供しています：

• LaTeX OCR：数学画像をLaTeXに変換するVLMの訓練に使用。検証可能な報酬を採用。
• Watercolour：p5.brushスケッチを使用して絵を描くモデルの訓練。美的好みモデルによる報酬。
• Hugging Face Spaces：多数の環境がライブSpacesとしてデプロイされ、即座にインタラクション可能。
• SmolDataEnvs：Kaggleノートブックに基づく、5,000件以上の検証済みデータ分析タスクからなるデータセット。

さらに、SKILL.md仕様を通じてエージェントスキルを提供し、異なるフレームワーク上で平文英語の記述から新しいRL環境を生成できるようにしています。

対象ユーザー

RLトレーニング用の即時利用可能な環境、再現可能なトレーニングレシピ、またはスクラッチからスケーラブルなRL環境を構築する方法を求める研究者や開発者。

特徴

• マルチフレームワーク対応：6つの異なるRLフレームワークで同じ環境を実装し、実装の違いを可視化。
• エンドツーエンドレシピ：環境設計からHugging Face Hub上のトレーニング済みモデルアーティファクトまでを完全にカバー。
• 検証可能な報酬：報酬ハッキングを回避するため、LLMに依存しない客観的報酬（例：正確一致、数値許容範囲）に焦点を当てています。
• 自動環境生成：4つのフレームワークにわたって、環境の記述を実行可能なコードに変換するツールを提供。