AgileRL/AgileRL

AgileRL – LLM 및 고전적 RL을 위한 엔드투엔드 포스트 트레이닝

그것이 무엇인가 – 사전 훈련된 대규모 언어 모델(LLM)을 가져와 현대 기술의 전체 스펙트럼으로 계속 훈련할 수 있는 Python 라이브러리: 지도 미세 조정(SFT), 선호 학습(DPO), 그리고 여러 강화 학습(RL) 알고리즘(GRPO, CISPO, GSPO, PPO, REINFORCE). 동일한 패키지는 단일 에이전트, 다중 에이전트, 오프라인 및 밴딧 문제를 위한 "고전적인" 딥 RL도 지원하며, 진화적 하이퍼파라미터 최적화(HPO)가 내장되어 있습니다.

왜 중요한가 – 대부분의 기존 도구는 LLM 미세 조정 또는 고전적 RL 중 하나에 초점을 맞추며, 둘 다 다루는 경우는 드물고, 대규모로 실행하려면 많은 글루 코드가 필요한 경우가 많습니다. AgileRL은 LLM을 위한 전체 포스트 트레이닝 스택 및 완전한 RL 스위트를 번들로 제공하며, 다음을 제공합니다:

• 로컬에서 실행하거나 관리형 Arena 클라우드 서비스에 제출할 수 있는 통합 YAML 기반 실험 매니페스트.
• 메모리 절약 기술(LoRA, QLoRA, 활성화 체크포인팅, CPU/GPU 외 옵티마이저 오프로드)을 갖춘 Torch 네이티브 분산 트레이닝(데이터 병렬 또는 FSDP2 샤딩).
• vLLM을 통한 빠른 추론 롤아웃. 트레이너와 함께 배치할 수도 있습니다.
• 학습률, KL 페널티 등을 실시간으로 조정하는 진화적 개체군 기반 HPO.
• 의도적으로 "에이전트 친화적"으로 설계된 CLI 및 Python SDK. 즉, AI 코딩 어시스턴트가 매니페스트를 생성, 검증하고 인간의 개입 없이 작업을 시작할 수 있습니다.

주요 구성 요소

구성 요소	역할
알고리즘	LLM: SFT, DPO, GRPO, CISPO, GSPO, PPO, REINFORCE. 고전적 RL: PPO, DQN, Rainbow DQN, DDPG, TD3, CQL, ILQL, MADDPG, MATD3, IPPO, NeuralUCB, NeuralTS.
트레이닝 백엔드	로컬 GPU(torchrun) 또는 원격 Arena 클러스터(비동기, 개체군 기반).
모델 지원	모든 Hugging Face 트랜스포머. 밀집, MoE 및 하이브리드 Mamba 제품군 포함(예: Qwen, Granite, Gemma, Nemotron-3.5 최대 120B).
어댑터	저메모리 미세 조정을 위한 LoRA 및 QLoRA. MoE 모델용 전문가별 LoRA.
병렬성	데이터 병렬 또는 완전 샤딩 데이터 병렬(FSDP2). 모든 LLM 알고리즘에 적용되는 단일 FSDPConfig.
롤아웃 엔진	높은 처리량의 토큰 생성을 위한 vLLM. 트레이너와 동일한 GPU에 배치 가능.
하이퍼파라미터 최적화	진화적 HPO가 에이전트 개체군을 실행. 하이퍼파라미터는 훈련 중에 진화.
CLI / SDK	arena CLI는 로그인, 모델 목록, 실험 제출, 배포 및 생성용. Python LocalTrainer 및 ArenaClient는 프로그래밍 방식 사용용.

일반적인 워크플로우

1. 매니페스트 작성 – 기본 모델, 알고리즘, 환경(OpenEnv, Gymnasium, PettingZoo 또는 사용자 지정 원격 서버) 및 HPO 설정을 설명하는 단일 YAML 파일.
2. 로컬에서 실행 – python -m agilerl.train my_manifest.yaml 또는 LocalTrainer.from_manifest(...) 사용.
3. Arena에서 확장 – arena experiments submit my_manifest.yaml --project my-project. Arena는 비동기 롤아웃, 개체군 기반 HPO 및 GPU 프로비저닝을 처리합니다.
4. 배포 – arena agent deploy <experiment> 그런 다음 arena agent generate --prompt "…"로 미세 조정된 LLM과 채팅.

성능 주장 – README는 AgileRL이 유사한 라이브러리(ART, TRL)보다 초당 4배 이상 많은 토큰을 처리하고, 멀티턴 스도쿠 작업에서 절반의 GPU 메모리로 더 높은 보상을 달성하는 벤치마크를 인용합니다.

시작하기

pip install "agilerl[llm]"   # LLM 포스트 트레이닝 추가 기능
pip install agilerl           # 고전적 RL + Arena CLI

선택적 추가 기능으로 Box2D 물리, CPU 전용 휠 또는 Arena SDK만 추가할 수 있습니다.

문서 및 커뮤니티 – 전체 문서는 https://docs.agilerl.com, 도움말을 위한 Discord 서버, 오픈 소스 Apache-2.0 라이선스.

---

모든 세부 사항은 저장소의 README에서 직접 가져왔습니다. 외부 가정은 추가되지 않았습니다.