YYHDBL/shopping-grpo-longhorizon

해결하는 문제

이 프로젝트는 장기 지평 쇼핑 작업을 위해 설계된 AI 에이전트를 훈련하고 평가하기 위한 재현 가능한 파이프라인을 제공합니다. 검색, 제품 사양 비교, 특정 사용자 제약 조건에 따른 최종 구매와 같은 작업을 수행하면서 복잡한 전자상거래 환경을 안정적으로 탐색할 수 있는 에이전트를 구축하는 과제를 해결합니다.

작동 방식

이 프로젝트는 다단계 훈련 파이프라인을 사용합니다:

1. 데이터 수집: 교사 모델을 사용하여 ShopSimulator 환경 내에서 성공적인 상호작용 궤적을 수집합니다.
2. 지도 미세 조정(SFT): 이러한 궤적에 대해 LoRA 기반 미세 조정을 수행하여 모델에 유효한 도구 사용 전략을 가르칩니다.
3. GRPO 훈련: veRL 라이브러리를 사용하여 그룹 상대 정책 최적화(GRPO)를 통해 모델을 추가로 최적화합니다. 이를 통해 에이전트는 별도의 보상 모델 없이 자체 환경 롤아웃에서 학습할 수 있습니다.
4. 평가: 결정론적 코드 기반 검사와 LLM-as-a-Judge 점수를 결합한 엄격한 다면 평가 파이프라인을 사용하여 검색 전략 및 의사 결정 품질을 포함한 5가지 차원에서 성능을 평가합니다.

대상 독자

이 프로젝트는 에이전트 AI를 연구하는 연구자와 개발자를 대상으로 하며, 특히 장기 지평 작업 계획, 도구 사용, 시뮬레이션된 실제 시나리오에서 환경 피드백을 통한 강화 학습(RLHF/GRPO)에 중점을 둡니다.

주요 특징

• 엔드투엔드 파이프라인: 데이터 수집, SFT, GRPO 훈련, 포괄적인 평가 스위트까지 모두 포함합니다.
• ShopSimulator 통합: 일관된 테스트를 위한 ShopSimulator v2.1 환경의 내장 버전이 포함되어 있습니다.
• 결정론적 보상 시스템: 규칙 기반 Reward v3 시스템을 사용하여 결과를 객관적으로 평가하여 순수 LLM 기반 보상 모델링의 주관성을 피합니다.
• 재현 가능한 벤치마킹: 서로 다른 모델 반복 간의 공정하고 일관된 비교를 보장하기 위해 "Final-200 Clean" 벤치마크 세트를 제공합니다.