microsoft/agent-lightning

해결하는 문제

Agent Lightning은 에이전트의 기존 코드를 크게 변경하지 않고도 강화 학습(RL)을 사용하여 AI 에이전트를 훈련하도록 설계된 경량 프레임워크입니다. 도구, 컨텍스트 및 특정 제어 흐름이 포함된 복잡한 에이전트 워크플로우에 RL 훈련을 통합하는 과정의 어려움을 해결합니다.

작동 방식

이 프레임워크는 모델을 캡처하고 업데이트하기 위해 간단한 3가지 구성 요소 아키텍처를 사용합니다.

• Trainer: verl 및 vLLM을 사용하여 훈련 프로세스를 관리하고, 훈련 샘플을 생성하며 정책을 업데이트합니다.
• API Gateway: 모델 요청에 대한 프록시 역할을 하며 훈련에 필요한 상호작용 데이터를 캡처합니다.
• Rollout Controller: 에이전트를 로컬 또는 Kubernetes Jobs로 실행 및 관리하여 실제 환경과 상호작용할 수 있도록 합니다.

대상 사용자

실제 운영 환경에서 AI 에이전트(특히 코딩 에이전트, 검색 에이전트, 추론 에이전트)의 성능을 향상시키기 위해 RL을 적용하려는 개발자와 연구자를 위한 프레임워크입니다.

주요 특징

• 최소한의 코드베이스: 전체 프레임워크가 약 3,500줄의 코드로 구성되어 있습니다.
• 제로 변경 통합: 에이전트가 프록시를 통해 상호작용하므로 기존 도구와 환경을 수정 없이 그대로 유지할 수 있습니다.
• 네이티브 Kubernetes 지원: 에이전트를 Kubernetes Jobs로 직접 실행하여 확장 가능한 롤아웃이 가능합니다.
• 검증된 성능: 비교적 작은 훈련 세트를 사용하여 코딩 에이전트의 성능(예: Qwen3.5 모델의 SWE-bench Verified 점수 향상)에서 상당한 개선을 입증했습니다.