ag2ai/Agents_Failure_Attribution
Benchmark for automated failure attributions in agentic systems (🏆 ICML 2025 Spotlight)
解决的问题
手动调试基于 LLM 的多智能体系统中的故障非常耗时。本项目实现了故障归因的自动化:给定一个失败的任务,它能识别出是哪个智能体导致了故障以及发生在哪个步骤,从而使开发者能够快速找到并修复根本原因,而无需手动追踪日志。
工作原理
该仓库提供了一个名为 Who&When 的基准数据集,其中包含 184 条来自算法生成和手工构建的多智能体系统的标注失败轨迹。每个故障都包括责任智能体、决定性错误步骤以及自然语言解释。代码支持三种归因方法——一次性判断(all-at-once judging)、逐步判断(step-by-step judging)和二分搜索(binary search),并适用于 GPT-4o 和 Llama-3.1 等多种模型。您可以在数据集上运行推理脚本,然后使用单独的脚本评估输出结果。
适用人群
致力于基于 LLM 的多智能体系统的开发者和研究人员,他们需要调试故障、提高智能体性能或对故障归因技术进行基准测试。对于任何研究如何利用精准反馈使智能体系统实现自我纠正的人来说,它也非常有用。
主要亮点
- 首个专门针对多智能体 LLM 系统自动故障归因的基准测试。
- 184 个带有细粒度标签的失败任务:责任智能体、决定性步骤和解释。
- 涵盖手工构建和算法生成两种智能体系统,基于 GAIA 和 AssistantBench 查询。
- 支持多种模型(GPT-4o, Llama, Qwen 等)和三种推理策略(all-at-once, step-by-step, binary search)。
- 开源并提供推理和评估脚本,以及参考论文和 Hugging Face 上的数据集。
相关
- 项目
- 项目
- 项目
- 项目