agentscope-ai/Trinity-RFT

해결하는 문제

Trinity-RFT는 대규모 언어 모델(LLM)의 강화 학습 기반 파인튜닝(RFT)을 위한 통합적이고 유연한 프레임워크를 제공합니다. 데이터 생성, 모델 학습, 데이터 파이프라인을 관리 가능하고 교체 가능한 구성 요소로 분리함으로써, LLM의 성능 향상(특히 에이전트 워크플로우 관련)이라는 복잡한 과정을 단순화합니다.

작동 방식

이 프레임워크는 세 가지 조정된 구성 요소를 통해 작동합니다:

• Explorer: 에이전트와 환경 간의 상호작용을 처리하여 경험 데이터를 생성합니다.
• Trainer: 수집된 데이터를 기반으로 손실을 최소화하여 모델 가중치를 업데이트합니다.
• Buffer: 데이터 파이프라인을 관리하며, RFT 수명 주기 전반에 걸쳐 처리, 정제 및 증강을 수행합니다.

동기/비동기, 온폴리시/오프폴리시(on-policy/off-policy), 온라인/오프라인 강화 학습을 포함한 다양한 RFT 모드를 지원합니다. 또한 AgentScope와 같은 에이전트 프레임워크와 통합되어 다단계 에이전트 워크플로우를 학습시킬 수 있습니다.

대상 사용자

• 에이전트 애플리케이션 개발자: 특정 도메인 기능을 갖춘 LLM 기반 에이전트를 학습시키려는 개발자.
• 강화 학습 연구자: 플러그 앤 플레이 모듈을 사용하여 새로운 강화 학습 알고리즘을 설계하고 검증해야 하는 연구자.
• 데이터 엔지니어: 정제 또는 인간 참여형(human-in-the-loop) 시나리오를 위해 RFT 데이터셋과 데이터 파이프라인을 구축하는 전문가.

주요 특징

• 다양한 RFT 모드: 비동기 롤아웃 및 학습을 포함하여 장치 간에 독립적으로 확장 가능한 광범위한 강화 학습 구성을 지원합니다.
• 에이전트 강화 학습 지원: 연결형 및 범용 다단계 에이전트 워크플로우를 모두 학습할 수 있습니다.
• 전체 수명 주기 데이터 파이프라인: 우선순위 지정 및 온라인 작업 커리큘럼 구성을 포함한 능동적인 데이터 관리 기능을 제공합니다.
• 방대한 알고리즘 라이브러리: PPO, GRPO, DAPO, DPO, SFT 구현은 물론, CHORD 및 REC와 같은 전문 연구 알고리즘을 포함합니다.