aiming-lab/SkillRL

解決する課題

SkillRLは、生のノイズの多い冗長な軌跡を保存する従来のメモリベースのLLMエージェントの非効率性に対処します。生の経験に頼るのではなく、それらの経験を再利用可能な行動パターン（スキル）の階層的ライブラリに抽象化する方法を提供し、トークン使用量を削減しながら推論の有用性を向上させます。

仕組み

このフレームワークは、強化学習（RL）とスキル発見を通じてエージェントのポリシーを進化させる再帰的なプロセスを使用します：

1. スキル蒸留 (Skill Distillation)：成功した軌跡を戦略的パターンに変換し、失敗した軌跡を間違いを避けるための教訓に変換します。
2. 階層的スキルバンク (Hierarchical SkillBank)：知識は「汎用スキル」(General Skills)（普遍的な戦略）と「タスク固有スキル」(Task-Specific Skills)（特定のカテゴリに対するヒューリスティック）に整理されます。
3. 検索 (Retrieval)：実行中、エージェントはキーワードベースのテンプレートマッチング、または埋め込みモデル（例：Qwen3-Embedding）による意味的類似性を使用して関連スキルを検索します。
4. 再帰的進化 (Recursive Evolution)：スキルライブラリは、RLトレーニング中に検証の失敗を分析することで動的に更新され、新しいスキルを洗練または追加します。

対象読者

ALFWorld、WebShop、Searchなどの複雑な環境タスク向けにLLMベースのエージェントを構築しており、RLを使用してエージェントのパフォーマンスと効率を向上させたい研究者や開発者向けに設計されています。

ハイライト

• トークン圧縮：生の軌跡ストレージと比較して、コンテキストの使用量を10〜20%削減します。
• 動的スキル進化：スキルライブラリは、トレーニング中にエージェントのポリシーと共に共進化します。
• 柔軟な検索：単純なテンプレートベースのマッチングと、高度な埋め込みベースの意味検索の両方をサポートします。
• 包括的なトレーニングパイプライン：メモリデータ生成、教師ありファインチューニング (SFT)、およびSkillBankを使用したRLのステージが含まれています。