ag2ai/Agents_Failure_Attribution

Benchmark for automated failure attributions in agentic systems (🏆 ICML 2025 Spotlight)

解決する課題

LLMベースのマルチエージェントシステムにおける失敗を手動でデバッグするのは時間がかかります。このプロジェクトは失敗の帰属特定を自動化します。失敗したタスクが与えられると、どのエージェントが原因で、どのステップで失敗したかを特定するため、開発者はログを手作業で追うことなく、根本原因を迅速に見つけて修正できます。

仕組み

このリポジトリは Who&When と呼ばれるベンチマークデータセットを提供しており、アルゴリズム生成および手動作成されたマルチエージェントシステムからの184件の注釈付き失敗軌跡が含まれています。各失敗には、責任のあるエージェント、決定的なエラーのステップ、および自然言語による説明が含まれます。コードは、all-at-once judging、step-by-step judging、binary search という3つの帰属特定手法をサポートしており、GPT-4o や Llama-3.1 などの複数のモデルで動作します。データセットに対して推論スクリプトを実行し、別のスクリプトで出力を評価します。

対象ユーザー

LLMベースのマルチエージェントシステムに取り組む開発者や研究者で、失敗のデバッグ、エージェントのパフォーマンス向上、または失敗帰属技術のベンチマークが必要な方に適しています。また、ピンポイントのフィードバックを使用してエージェントシステムを自己修正させる方法を研究している方にも役立ちます。

ハイライト

  • マルチエージェント LLM システムにおける自動失敗帰属のための初のベンチマーク。
  • 責任エージェント、決定的なステップ、説明という詳細なラベルが付いた184件の失敗タスク。
  • GAIA および AssistantBench クエリに基づいた、手動作成およびアルゴリズム生成の両方のエージェントシステムをカバー。
  • 複数のモデル(GPT-4o, Llama, Qwen など)と3つの推論戦略(all-at-once, step-by-step, binary search)をサポート。
  • 推論および評価スクリプト、参考論文、および Hugging Face 上のデータセットを含むオープンソースプロジェクト。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト