NovaSky-AI/SkyRL

何を解決するか

SkyRLは、大規模言語モデル（LLM）に特化したモジュール式でフルスタックの強化学習（RL）ライブラリです。リアルワールド環境（例：ソフトウェアエンジニアリング（SWE-Bench）や複雑な知識作業）における、マルチターン・ロングホライズンタスクを処理できるエージェントのトレーニングという課題に対応しています。単純な教師あり学習では不十分な場合が多いです。

どう動くか

SkyRLは、RLトレーニングを促進する包括的なコンポーネントエコシステムを提供します：

• skyrl: ローカルハードウェア上でRLトレーニングを行うための統合ライブラリ。モジュール式トレーニングフレームワーク（skyrl-train）とTinker API用のクロスプラットフォームバックエンド（skyrl-tx）を含みます。
• skyrl-agent: ロングホライズンタスクにおけるマルチターンツール利用LLMのパイプラインを最適化・スケーリングするためのエージェントレイヤー。
• skyrl-gym: 数学、コーディング、検索、SQLなどのタスクを含む、LLM向けのRL環境（gymnasium）のコレクション。Gymnasium APIで実装されています。

誰向けか

複雑なステップバイステップのツール利用タスクやリアル環境とのインタラクションにおいて、強化学習を活用してパフォーマンスを向上させたい研究者や開発者向けです。

主な特徴

• フルスタックRL機能: トレーニングフレームワーク、エージェントレイヤー、専門的な環境を統合。
• Tinker API対応: Tinker API用に書かれたトレーニングスクリプトを、自前のGPUで実行可能。
• 専門的な環境: SQLやコーディングなどのツール利用タスク向けにskyrl-gymを提供。
• 実証されたパフォーマンス: SkyRL-SQL-7Bなど、GPT-4oを上回るText-to-SQLタスク性能を実現。
• ロボティクス／エンボディッドインテリジェンス統合: Harborと統合され、ターミナル利用エージェントのトレーニングが可能。