mll-lab-nu/RAGEN

解决的问题

RAGEN 解决了训练 LLM 代理在与环境的多轮交互中进行推理的挑战。它特别针对代理强化学习（RL）中的故障模式，例如“回声陷阱”和“推理崩溃”，这些模式表现为模型生成的推理看似多样化，但实际上与输入无关，并且与任务的实际状态脱节。

工作原理

基于 StarPO（State-Thinking-Actions-Reward Policy Optimization）框架，RAGEN 采用两阶段的滚动和更新流程。在滚动阶段，LLM 生成基于推理的动作（格式为 </tool_call>...</tool_call><ans> action </ans>），并接收环境反馈。在更新阶段，框架使用 PPO 或 GRPO 通过重要性采样优化整个轨迹。

RAGEN-2 引入了 SNR-Adaptive Filtering，利用奖励方差作为代理指标来过滤掉噪声较大的滚动数据，并使用互信息代理指标来诊断和监控“模板崩溃”（即推理变得与输入无关，成为通用模板）。

适用人群

专为在各种环境中训练复杂多轮任务的推理能力 LLM 代理的研究人员和开发者设计。

主要亮点

• StarPO 框架：支持轨迹级和轮次级训练的统一 RL 框架。
• 内置环境：包含 Sokoban、WebShop、DeepCoder 等 10 个预配置环境。
• Gym 兼容：可轻松集成自定义环境。
• 推理诊断：使用高级指标（条件熵和互信息）检测推理崩溃。
• SNR-Adaptive Filtering：一种轻量级方法，用于稳定训练并减轻噪声梯度更新。