mll-lab-nu/RAGEN

해결하는 문제

RAGEN은 환경과의 다단계 상호작용을 통해 추론하는 LLM 에이전트를 훈련하는 문제를 해결합니다. 특히 에이전트 강화학습(RL)에서 발생하는 실패 모드, 예를 들어 "에코 트랩"과 "추론 붕괴"를 타겟으로 하며, 모델이 다양한 것처럼 보이지만 실제로는 입력에 무관하고 작업의 실제 상태와 연결되지 않은 추론을 생성하는 문제를 방지합니다.

작동 방식

StarPO(State-Thinking-Actions-Reward Policy Optimization) 프레임워크를 기반으로 하며, 롤아웃과 업데이트의 두 단계 프로세스를 사용합니다. 롤아웃 단계에서는 LLM이 추론을 기반으로 한 행동(`... action 형식)을 생성하고 환경 피드백을 받습니다. 업데이트 단계에서는 PPO 또는 GRPO를 통해 중요도 샘플링을 사용하여 전체 트래잭션을 최적화합니다.

RAGEN-2는 보상 분산을 대체 지표로 사용하여 노이즈가 많은 롤아웃 데이터를 필터링하는 SNR-Adaptive Filtering을 도입하며, 상호정보량 대체 지표를 사용하여 "템플릿 붕괴"(입력에 관계없이 추론이 일반적인 템플릿이 되는 현상)를 진단하고 모니터링합니다.

대상 사용자

다양한 환경에서 복잡한 다단계 작업을 수행하는 추론 능력을 갖춘 LLM 에이전트를 훈련하는 연구자 및 개발자에게 적합합니다.

주요 특징

• StarPO 프레임워크: 트래잭션 수준과 턴 단위 훈련을 모두 지원하는 통합된 RL 프레임워크.
• 내장 환경: Sokoban, WebShop, DeepCoder 등 10개의 사전 구성된 환경 포함.
• Gym 호환성: 사용자 정의 환경의 간편한 통합 가능.
• 추론 진단 기능: 추론 붕괴를 탐지하기 위한 고급 메트릭(조건부 엔트로피 및 상호정보량).
• SNR-Adaptive Filtering: 훈련의 안정화와 노이즈가 많은 기울기 업데이트 완화를 위한 경량 방법.