RUC-NLPIR/ARPO

해결하는 문제

ARPO와 AEPO는 외부 도구와 상호 작용할 때 대규모 언어 모델(LLM) 추론 프로세스에 도입되는 불안정성과 불확실성을 해결합니다. 구체적으로, 도구 호출의 피드백이 종종 효과적인 강화 학습을 방해할 수 있는 고엔트로피(불확실한) 토큰을 생성하는 다중 턴 에이전트 상호 작용에서 단계별 도구 사용 동작을 정렬하는 문제를 해결합니다.

작동 원리

ARPO (Agentic Reinforced Policy Optimization)

ARPO는 도구 호출 엔트로피가 높은 라운드에서 정책 모델이 적응적으로 분기 샘플링을 수행하도록 장려합니다. 이를 통해 모델이 가장 불확실할 때 여러 잠재적 추론 경로를 더 효율적으로 탐색할 수 있으며, GRPO와 같은 표준 방법보다 적은 도구 호출 횟수로 도구 사용 동작을 정렬할 수 있습니다.

AEPO (Agentic Entropy-Balanced Policy Optimization)

AEPO는 ARPO를 기반으로 롤아웃 및 정책 업데이트 단계 모두에서 엔트로피의 균형을 맞추어 최적화합니다:

• 동적 엔트로피 균형 롤아웃 (Dynamic Entropy-Balanced Rollout): 엔트로피 사전 모니터링을 사용하여 샘플링 예산을 할당하고, 연속적인 고엔트로피 단계에서 과도한 분기를 방지하기 위해 분기 페널티를 적용합니다.
• 엔트로피 균형 정책 최적화 (Entropy-Balanced Policy Optimization): "엔트로피 클리핑 균형 메커니즘"(stop-gradient 작업 사용)을 사용하여 고엔트로피 토큰의 그래디언트 크기를 재조정하고, 엔트로피 인식 이점 추정을 사용하여 불확실성이 높은 토큰의 학습 우선순위를 지정합니다.

대상 사용자

이 프로젝트는 다중 턴 도구 상호 작용과 복잡한 추론 능력이 필요한 LLM 기반 에이전트를 학습시키는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 성능 향상: GAIA 및 HLE와 같은 벤치마크에서 높은 점수 달성 (예: Qwen3-14B가 GAIA에서 61.2% 달성).
• 효율성: GRPO와 비교하여 학습 중 필요한 도구 호출 횟수 감소.
• 최적화: 도구 호출 가속화 및 메모리 최적화가 포함되어 있어, 14B 모델을 단일 노드에서 배치 크기 128로 단계당 10분 만에 학습 가능.
• 포괄적인 리소스: 전체 코드베이스, SFT 및 RL 데이터셋, 3B에서 32B 파라미터까지의 사전 학습된 모델 체크포인트 제공.