RUC-NLPIR/ARPO

解决的问题

ARPO 和 AEPO 解决了大型语言模型 (LLM) 在与外部工具交互时，推理过程中引入的不稳定性与不确定性。具体而言，它们解决了在多轮代理交互中对齐步骤级工具使用行为的挑战，其中来自工具调用的反馈通常会导致高熵（不确定）token，这可能会阻碍有效的强化学习。

运作原理

ARPO (Agentic Reinforced Policy Optimization)

ARPO 鼓励策略模型在工具调用熵较高的回合中自适应地进行分支采样。这使得模型在最不确定时能更有效地探索多个潜在的推理路径，在无需像 GRPO 等标准方法那样进行大量工具调用的情况下，对齐工具使用行为。

AEPO (Agentic Entropy-Balanced Policy Optimization)

AEPO 在 ARPO 的基础上，通过在展开 (rollout) 和策略更新阶段平衡熵来进行优化：

• 动态熵平衡展开 (Dynamic Entropy-Balanced Rollout)：使用熵预监控来分配采样预算，并应用分支惩罚以防止在连续高熵步骤中过度分支。
• 熵平衡策略优化 (Entropy-Balanced Policy Optimization)：采用「熵裁剪平衡机制」(使用 stop-gradient 操作) 来重新缩放高熵 token 上的梯度，并使用熵感知优势估计来优先学习具有高不确定性的 token。

适用对象

本项目专为训练需要多轮工具交互与复杂推理能力的基于 LLM 代理的研究人员与开发者所设计。

特点

• 性能提升：在 GAIA 和 HLE 等基准测试中取得高分（例如 Qwen3-14B 在 GAIA 上达到 61.2%）。
• 效率：与 GRPO 相比，减少了训练期间所需的工具调用次数。
• 优化：包含工具调用加速与内存优化，使 14B 模型能在单节点上以 128 的批次大小，每步仅需 10 分钟即可完成训练。
• 全面资源：提供完整的代码库、SFT 与 RL 数据集，以及从 3B 到 32B 参数的预训练模型检查点。