XiaoRed5/Agentic-RL-Most-Detailed-Intro

해결하는 문제

Agentic RL(도구를 사용하고 행동을 취하는 AI 에이전트를 위한 강화학습)을 시작하는 것은 좋은 자료들이 흩어져 있고, 코드 예제는 장난감 수준인 경우가 많으며, 논문은 이해하기 어렵기 때문에 혼란스럽습니다. 이 프로젝트는 RL 실험을 비교하기 위한 시각화 대시보드, 실행 가능한 Agentic RL 구현, 그리고 기초 개념과 최신 산업 모델에 대한 엄선된 기술 노트를 한곳에 모아 실용적인 지식을 제공합니다.

작동 방식

이 저장소는 세 가지 상호 보완적인 부분으로 구성되어 있습니다.

첫째, Agent Forge는 시각화 프로젝트입니다. 두 세트의 Agent/RL 실험을 가져와 학습 추세, 오프라인 평가 결과, 도구 호출 비용, 증거 강도를 하나의 대화형 대시보드에 넣을 수 있습니다. 사용 가이드를 따르고 샘플 데이터 템플릿을 다운로드하여 시작할 수 있습니다.

둘째, agentic-tau-rl은 코드 중심의 실용적인 프로젝트입니다. 멀티턴 롤아웃, 신용 할당, 정책 최적화, 행동 형성을 다루는 실행 가능하고 테스트 가능한 Agentic RL 구현을 제공합니다. 또한 오프라인 검증에서 실제 모델 학습으로 이동하는 방법을 설명하는 기술 보고서와 마이그레이션 가이드도 포함되어 있습니다.

셋째, 기술 논문 읽기 섹션은 Agentic RL 기초, 신용 할당, Transformer 아키텍처, 멀티턴 도구 호출, 그리고 LongCat, GLM, Kimi와 같은 특정 모델에 대한 분석을 다루는 온라인 기사 모음입니다. 이들은 웹사이트로 게시되며, 링크는 README에 나열되어 있습니다.

Meituan LongCat에서 파운데이션 모델 사전 학습 및 코드 에이전트 학습을 담당하는 저자가 커리어 조언을 공유하며, GitHub issues를 통해 기여나 질문을 환영합니다.

대상 독자

LLM 베이스 모델 작업에 뛰어들고 싶은 사람들, 특히 Agentic RL, 도구 사용 에이전트 또는 모델 사후 학습에 관심이 있는 사람들을 대상으로 합니다. 학생, 분야를 전환하려는 엔지니어, 구체적인 코드와 엄선된 읽기 자료를 찾는 실무자에게 유용합니다.

주요 특징

• 두 개의 RL 실험을 나란히 비교할 수 있는 대화형 대시보드(학습 추세, 오프라인 평가, 도구 호출 비용, 증거).
• 롤아웃, 신용 할당, 정책 업데이트와 같은 핵심 단계를 다루는 실행 가능하고 테스트 가능한 Agentic RL 코드.
• 오프라인 검증에서 실제 모델 학습으로의 실용적인 마이그레이션 가이드.
• Agentic RL 기초 및 최신 산업 모델(GLM, Kimi, LongCat) 분석에 대한 지속적으로 업데이트되는 기술 기사 세트.
• GitHub issues를 통한 기여 및 질문 환영.