aiming-lab/SkillRL

해결하는 문제

SkillRL은 원시적이고 노이즈가 많으며 중복되는 궤적을 저장하는 기존 메모리 기반 LLM 에이전트의 비효율성을 해결합니다. 원시 경험에 의존하는 대신, 이러한 경험을 재사용 가능한 행동 패턴(기술)의 계층적 라이브러리로 추상화하는 방법을 제공하여 토큰 사용량을 줄이면서 추론 유용성을 향상시킵니다.

작동 방식

이 프레임워크는 강화학습(RL)과 기술 발견을 통해 에이전트의 정책을 발전시키는 재귀적 프로세스를 사용합니다:

1. 기술 증류 (Skill Distillation): 성공적인 궤적을 전략적 패턴으로 변환하고, 실패한 궤적을 실수를 피하는 방법에 대한 교훈으로 변환합니다.
2. 계층적 기술 뱅크 (Hierarchical SkillBank): 지식은 "범용 기술"(General Skills)(보편적 전략)과 "특정 작업 기술"(Task-Specific Skills)(특정 범주에 대한 휴리스틱)으로 구성됩니다.
3. 검색 (Retrieval): 실행 중에 에이전트는 키워드 기반 템플릿 매칭이나 임베딩 모델(예: Qwen3-Embedding)을 통한 의미론적 유사성을 사용하여 관련 기술을 검색합니다.
4. 재귀적 진화 (Recursive Evolution): 기술 라이브러리는 RL 학습 중에 검증 실패를 분석하여 새로운 기술을 정교화하거나 추가함으로써 동적으로 업데이트됩니다.

대상 사용자

ALFWorld, WebShop, Search와 같은 복잡한 환경 작업을 위해 LLM 기반 에이전트를 구축하고 있으며, RL을 사용하여 에이전트의 성능과 효율성을 향상시키려는 연구자 및 개발자를 위해 설계되었습니다.

주요 특징

• 토큰 압축: 원시 궤적 저장 방식과 비교하여 컨텍스트 사용량을 10-20% 절감합니다.
• 동적 기술 진화: 기술 라이브러리는 학습 중에 에이전트의 정책과 함께 공진화합니다.
• 유연한 검색: 간단한 템플릿 기반 매칭과 고급 임베딩 기반 의미론적 검색을 모두 지원합니다.
• 포괄적인 학습 파이프라인: 메모리 데이터 생성, 지도 미세 조정(SFT), SkillBank를 사용한 RL 단계를 포함합니다.