ag2ai/Agents_Failure_Attribution
Benchmark for automated failure attributions in agentic systems (🏆 ICML 2025 Spotlight)
해결하는 문제
LLM 기반 멀티 에이전트 시스템에서 실패를 수동으로 디버깅하는 것은 시간이 많이 소요됩니다. 이 프로젝트는 실패 귀속을 자동화합니다. 실패한 작업이 주어지면 어떤 에이전트가 실패를 일으켰고 어느 단계에서 발생했는지 식별하므로, 개발자는 로그를 일일이 추적할 필요 없이 근본 원인을 빠르게 찾아 수정할 수 있습니다.
작동 방식
이 저장소는 Who&When 이라는 벤치마크 데이터셋을 제공하며, 알고리즘으로 생성된 시스템과 수동으로 제작된 멀티 에이전트 시스템 모두에서 추출한 184개의 주석이 달린 실패 궤적을 포함합니다. 각 실패에는 책임이 있는 에이전트, 결정적인 오류 단계, 자연어 설명이 포함되어 있습니다. 코드는 all-at-once judging, step-by-step judging, binary search 등 세 가지 귀속 방법을 지원하며 GPT-4o 및 Llama-3.1과 같은 여러 모델에서 작동합니다. 데이터셋에 대해 추론 스크립트를 실행한 다음 별도의 스크립트로 출력을 평가합니다.
대상 사용자
LLM 기반 멀티 에이전트 시스템을 다루는 개발자 및 연구자로서, 실패를 디버깅하고 에이전트 성능을 개선하거나 실패 귀속 기술을 벤치마킹해야 하는 분들에게 적합합니다. 또한 정밀한 피드백을 사용하여 에이전트 시스템을 스스로 수정하도록 만드는 방법을 연구하는 모든 분에게 유용합니다.
주요 특징
- 멀티 에이전트 LLM 시스템의 자동 실패 귀속을 위한 최초의 벤치마크.
- 책임 에이전트, 결정적 단계, 설명 등 세밀한 라벨이 포함된 184개의 실패 작업.
- GAIA 및 AssistantBench 쿼리를 기반으로 수동 제작 및 알고리즘 생성 에이전트 시스템 모두를 포함.
- 여러 모델(GPT-4o, Llama, Qwen 등) 및 세 가지 추론 전략(all-at-once, step-by-step, binary search) 지원.
- 추론 및 평가 스크립트, 참고 논문, Hugging Face 데이터셋을 포함한 오픈 소스 제공.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트