alphadl/AdaRubrics

解决的问题

AdaRubric 解决了在评估 LLM 代理时，静态评估标准（如「有用性」或「安全性」）失效的问题。由于不同代理任务需要不同的成功标准——例如代码调试需要「正确性」，而网页导航需要「行动效率」——因此通用的评估标准往往会导致质量误判。AdaRubric 提供了一种生成任务特定评估标准和密集奖励信号的方法，从而更准确地评估代理轨迹。

工作原理

该项目实现了一个三阶段流程：

1. 评估标准生成器：使用 LLM 根据特定任务描述生成一组正交的评估维度和 5 分制评分标准。
2. 轨迹评估器：对代理轨迹中的每一步（Thought $\rightarrow$ Action $\rightarrow$ Observation）在每个生成的维度上进行评分，分配分数和置信度权重。
3. 数据过滤器：采用多种策略筛选高质量训练数据。特别地，DimensionAwareFilter 能防止单一关键维度上的灾难性失败被高平均分掩盖。

适用人群

专为需要可靠评估指标和高质量偏好对（用于 DPO 或 PPO 等奖励学习）的 LLM 代理训练研究人员和开发者设计。

主要亮点

• 任务自适应：实时生成定制化评估标准，而非依赖静态基准。
• 密集反馈：提供每步、每维度的评分，而非单一最终评分。
• 灵活聚合：根据任务关键性支持加权平均、几何平均和最小值聚合器。
• 实证增益：在 WebArena、ToolBench 和 AgentBench 上均展示了 DPO 任务成功率的提升，且与人类判断的相关性更好。