microsoft/agent-lightning

해결하는 문제

Agent Lightning는 AI 에이전트를 강화 학습(RL)을 사용해 훈련할 수 있도록 도와주는 가벼운 프레임워크입니다. 기존 에이전트 코드나 하네스에 큰 변경 없이도 가능합니다. 모델이 성능에 따라 업데이트되는 훈련 루프에 도구, 컨텍스트, 제어 흐름을 포함한 복잡한 에이전트 워크플로우를 통합하는 어려움을 해결합니다.

작동 방식

이 프레임워크는 에이전트 환경과 트레이너 사이의 격차를 메우기 위해 3개의 구성 요소 아키텍처를 사용합니다:

• 트레이너: verl과 vLLM을 사용하여 훈련 샘플을 생성하고 모델 정책을 업데이트하는 RL 프로세스를 관리합니다.
• API 게이트웨이: 모델 요청을 프록시로 처리하며, 상호작용과 트래잭터리를 캡처하여 훈련 데이터로 활용합니다.
• 롤아웃 컨트롤러: 에이전트를 로컬 또는 Kubernetes Job으로 시작하고 관리하여 실제 환경과 상호작용할 수 있도록 합니다.

대상 사용자

특정 분야(코드 작성, 검색, 수학적 추론 등)에서 성능을 향상시키기 위해 강화 학습을 적용하고자 하는 자율 에이전트를 개발하는 연구자 및 개발자.

주요 특징

• 최소한의 코드 변경: 프록시를 통해 실제 하네스로 에이전트를 훈련할 수 있으며, 에이전트 로직에 변경이 필요 없습니다.
• 경량 설계: 전체 프레임워크는 약 3,500줄의 코드로 구성되어 있습니다.
• Kubernetes 네이티브: 에이전트를 Kubernetes Job으로 실행하여 확장 가능한 롤아웃 수집을 지원합니다.
• 검증된 성과: Qwen3.5-9B 코드 에이전트의 경우, 단 6K의 훈련 샘플만으로 SWE-bench Verified에서 14.6% 포인트 향상을 달성했습니다.