adithya-s-k/FineEnvs

해결하는 문제

FineEnvs는 LLM 에이전트의 훈련과 평가를 위해 특별히 설계된 오픈소스이며 재현 가능한 강화학습(RL) 환경의 모음입니다. LLM을 위한 RL에서 RL 알고리즘 자체보다 환경 설계 및 배포가 훨씬 더 어려운 문제를 해결합니다.

작동 방식

이 프로젝트는 환경 구현, 훈련 스크립트, 결과를 통합한 자체 포함형 엔드투엔드 프로젝트로 콘텐츠를 구성합니다. OpenEnv, ORS, NeMo Gym, Verifiers 등 여러 RL 프레임워크를 지원하며, 다음과 같은 다양한 환경을 제공합니다:

• LaTeX OCR: 수학 이미지를 LaTeX로 읽는 VLM을 훈련시키며, 검증 가능한 보상 기반으로 작동.
• Watercolour: p5.brush 스케치를 사용해 그림을 그리는 모델을 훈련시키며, 미적 선호 모델에 의해 보상.
• Hugging Face Spaces: 많은 환경이 실시간으로 사용 가능한 Spaces로 배포되어 즉시 상호작용 가능.
• SmolDataEnvs: Kaggle 노트북 기반의 5,000개 이상의 검증된 데이터 분석 작업으로 구성된 데이터셋.

또한, SKILL.md 사양을 통해 사용자가 다양한 프레임워크에서 평문 영어 설명으로 새로운 RL 환경을 생성할 수 있는 에이전트 기술을 포함합니다.

대상 사용자

RL 훈련을 위한 즉시 사용 가능한 환경, 재현 가능한 훈련 레시피, 또는 스크래치에서 확장 가능한 RL 환경을 구축하는 방법을 원하는 연구자 및 개발자.

주요 특징

• 다중 프레임워크 지원: 6개의 다른 RL 프레임워크에서 동일한 환경을 구현하여 구현 방식의 차이를 보여줍니다.
• 엔드투엔드 레시피: 환경 설계에서 Hugging Face Hub에 배포된 훈련된 모델 아티팩트에 이르기까지 완전한 루프 제공.
• 검증 가능한 보상: 보상 조작을 방지하기 위해 LLM에 의존하지 않는 객관적 보상(예: 정확한 일치, 수치 허용 오차)에 중점을 둡니다.
• 자동 환경 생성: 4개의 프레임워크에 걸쳐 환경 설명을 실행 가능한 코드로 변환하는 도구를 포함합니다.