aiming-lab/SkillRL

解决的问题

SkillRL 解决了传统基于记忆的 LLM 代理在存储原始、噪声多且冗余轨迹时效率低下的问题。它不依赖原始经验，而是提供了一种将这些经验抽象化为可重复使用的行为模式（技能）层级库的方法，在减少 Token 使用量的同时提升推理效能。

运作方式

该框架通过强化学习 (RL) 和技能发现，使用递归过程来演进代理的策略：

1. 技能蒸馏 (Skill Distillation)：将成功的轨迹转化为策略模式，并将失败的轨迹转化为避免错误的经验教训。
2. 层级化技能库 (Hierarchical SkillBank)：知识被组织为“通用技能”(General Skills)（通用策略）和“特定任务技能”(Task-Specific Skills)（针对特定类别的启发式方法）。
3. 检索 (Retrieval)：在执行过程中，代理使用基于关键字的模板匹配或通过嵌入模型（例如 Qwen3-Embedding）的语义相似度来检索相关技能。
4. 递归演进 (Recursive Evolution)：技能库在 RL 训练期间通过分析验证失败案例来动态更新，以改进或添加新技能。

适用对象

专为研究人员和开发人员设计，他们正在为复杂环境任务（如 ALFWorld、WebShop 和 Search）构建基于 LLM 的代理，并希望通过 RL 提升代理的效能与效率。

特色亮点

• Token 压缩：与原始轨迹存储相比，减少了 10-20% 的上下文使用量。
• 动态技能演进：技能库在训练期间与代理的策略共同演进。
• 灵活检索：支持简单的基于模板的匹配以及进阶的基于嵌入的语义搜索。
• 完整的训练流程：包含记忆数据生成、监督式微调 (SFT) 以及结合 SkillBank 的 RL 阶段。