NovaSky-AI/SkyRL

해결하는 문제

SkyRL은 대규모 언어 모델(LLM)을 위한 전용 모듈식 풀스택 강화학습(RL) 라이브러리입니다. 소프트웨어 공학(SWE-Bench)이나 복잡한 지식 작업과 같은 실제 환경에서 다단계, 장기적 과제를 처리할 수 있는 에이전트를 훈련하는 문제를 해결합니다. 단순한 지도학습으로는 종종 부족하기 때문입니다.

작동 방식

SkyRL은 RL 훈련을 촉진하기 위한 포괄적인 컴포넌트 생태계를 제공합니다:

• skyrl: 로컬 하드웨어에서 RL 훈련을 위한 통합 라이브러리로, 모듈식 훈련 프레임워크(skyrl-train)와 Tinker API용 크로스플랫폼 백엔드(skyrl-tx)를 포함합니다.
• skyrl-agent: 장기적 과제에서 다단계 도구 사용 LLM의 파이프라인을 최적화하고 확장하기 위한 에이전트 계층입니다.
• skyrl-gym: 수학, 코딩, 검색, SQL 등 다양한 작업을 포함하는 LLM용 RL 환경(gymnasium) 모음으로, Gymnasium API로 구현되었습니다.

대상 사용자

복잡한 다단계 도구 사용 작업과 실제 환경 상호작용에서 성능을 향상시키기 위해 강화학습을 필요로 하는 선도적인 AI 에이전트를 개발하는 연구자 및 개발자에게 적합합니다.

주요 특징

• 풀스택 RL 기능: 훈련 프레임워크, 에이전트 계층, 전용 환경을 통합합니다.
• Tinker API 지원: Tinker API용으로 작성된 훈련 스크립트를 자체 GPU에서 실행할 수 있습니다.
• 전용 환경 제공: SQL 및 코딩과 같은 도구 사용 작업을 위한 skyrl-gym 포함.
• 검증된 성능: GPT-4o를 초월하는 Text-to-SQL 작업 성능을 보인 SkyRL-SQL-7B 모델 개발에 사용됨.
• 로봇공학/신체적 지능 통합: Harbor와 통합되어 터미널 사용 에이전트를 훈련할 수 있습니다.