VAKRAの内部：エージェントの推論、ツール使用、および失敗モード

VAKRAの内部：エージェントの推論、ツール使用、および失敗モード

概要

VAKRAは、APIとドキュメントにわたる構成的推論を要求することで、AIエージェントがエンタープライズ環境においてどれだけ適切に推論し行動できるかを測定する、実行可能なツール接地型ベンチマークです。これは、表面的なツールの習熟度と、信頼できるエンドツーエンドのエージェントの挙動との間にあるギャップを露呈させるものであり、強力なモデルであってもマルチステップのワークフローでは失敗することが多いことを示しています。

タスクの説明

VAKRAは4つの能力で構成されており、それぞれが62のドメインにわたる8,000以上のローカルホストAPIと、ドメインに準拠したドキュメントコレクションを備えた実行環境において、異なるスキルセットをテストします。

能力 1: ビジネスインテリジェンスAPIを使用したAPIチェイニング

この能力には54のドメインにわたる2,077のテストインスタンスが含まれており、エージェントはSLOT-BIRDおよびSEL-BIRDコレクションから1〜12個のツール呼び出しを連鎖させて、JSONデータソースから回答を導き出す必要があります。各インスタンスは、データソースを初期化し、適切なツールセットを公開するようにMCPサーバーを構成する get_data(tool_universe_id=id) 呼び出しから始まります。

能力 2: ダッシュボードAPIを使用したツール選択

この能力には17のドメインにわたる1,597のインスタンスが含まれており、MCPサーバーによってラップされたFastAPI経由で提供される、拡張されたREST-BIRDコレクションのエンドポイント形式のAPIを使用します。エージェントは、ドメインごとに6から328個のツール（平均116個）の範囲にあるドメイン固有のセットから、正しいAPIを選択する必要があります。OpenAI API Specificationはツールリストを128個に制限しているため、ショートリスト作成メカニズムが必要となります。

能力 3: ダッシュボードAPIを使用したマルチホップ推論

能力3セグメントには、38の主題ドメインから抽出された869のテストインスタンスがあり、ここでもREST-BIRD APIコレクションに依存していますが、マルチホップ推論が追加されています。質問には1〜5回の論理的なホップが必要であり、各ホップにはAPI呼び出しから裏付けとなる証拠を抽出して組み合わせることが含まれます。

能力 4: マルチホップ・マルチソース推論およびポリシー遵守

能力4には41のドメインにわたる644のインスタンスが含まれており、REST-BIRD APIコレクションに、ドメインごとのドキュメントインデックス、マルチターン会話、およびオプションのツール使用ポリシーが追加された構成になっています。クエリには、API、ドキュメントリトリーバー、またはその組み合わせ（API-RAG-APIパターン）からの情報が必要になる場合があります。ポリシーは、特定のターンにおいてエージェントがどの知識ソースを使用できるかを制限するプレーンテキストの指示です。

評価フレームワーク

VAKRAは、最終的な回答の正確さと、完全なツール実行軌跡の妥当性の両方を評価することでエージェントを評価し、妥当な推論プロセスを通じて正しい回答を得たエージェントに報酬を与えます。

評価指標

VAKRA Evaluatorは、予測された最終回答と対応するツール呼び出しの軌跡に対して動作し、予測された呼び出しをグランドトゥルース（正解）と同じ環境で実行して中間出力を検証します。評価はウォーターフォール型のパイプラインに従います。能力4のタスクでは、まずポリシー遵守がチェックされます。次に、予測されたツール呼び出しシーケンスがグランドトゥルースと比較されます。妥当な軌跡を持つサンプルのみが最終的な回答評価に進みます。

ツールのシーケンスの正確性は、各予測ツールを実行し、ツールレスポンスのセットをグランドトゥルースのものと比較することによって決定されます（代替的だが妥当な呼び出しは許可されます）。チェックの結果が決定できない場合は、CRAGフレームワークから適応されたLLMベースの評価により、構造的な違いがあっても予測された軌跡が必要な情報をすべて取得しているかを判断します。最終的な回答は、予測されたツール出力に基づいていること、およびグランドトゥルースの回答と事実的に一致していることを確認するためにLLMによって判断されます。

スコアは能力ごとに計算され、リーダーボード用に平均化されます：Leaderboard Score = (Capability₁ + Capability₂ + Capability₃ + Capability₄) / 4。能力1〜3は正しいクエリの単純平均です。能力4は、マルチソースの正しいクエリを、APIのみまたはRAGのみの正しいクエリの2倍の重みで計算します。

エラー分析

エラー分析では段階的な分類を使用し、各失敗を最初の崩壊点（ツール選択、引数の提供、引数の値、または最終回答の接地）に割り当てます。

失敗ステージの分離

各インスタンスを最も早い失敗ステージに分類することで、エラーはデータセットの互いに重ならない断片として扱われ、二重カウントを避け、解釈可能な内訳を提供します。

能力 1: ビジネスインテリジェンスAPIを使用したAPIチェイニング

この能力の2,077のサンプルでは、GPT-OSS-120Bが他のモデルを大幅に上回りました。これは主に、ツールスキーマの理解が優れていることと、オプションのパラメータの入力における堅牢性によるものです。SLOT-BIRD（1,477サンプル）のエラーは、GPT-OSS-120Bを除くすべてのモデルにおいて不適切なツール引数名が支配的でしたが、SEL-BIRD（600サンプル）は、より大きく動的なツールセットのため、引数のエラーは少ないもののツール選択のエラーが多く見られました。

能力 2: ダッシュボードAPIを使用したツール選択

1,597のサンプル全体で、Gemini-3-flash-previewがすべてのエラーカテゴリにおいて他のモデルを上回りました。ツールの選択肢が多いため、ツール選択とパラメータ値の選択において頻繁にエラーが発生しますが、必要なパラメータのハルシネーションやスキップは稀です。すべてのツール呼び出しが正しい場合でも、モデル（特にGemini-3-flash-previewとClaude-Sonnet-4-5）は、ツールレスポンスから正しい回答を合成することに苦戦しており、これはエラープロットの右端での低下によって示されています。

マルチホップ推論：モデルのパフォーマンスに対するホップ数の影響

ホップ数が増えるにつれて精度は低下します。モデルはシングルホップの質問で最高のパフォーマンスを発揮し、2ホップでは性能が低下し、3ホップ以上の質問ではすべてのテスト済みモデルにおいてさらに低下します。

マルチホップ・マルチソース推論：モデルのパフォーマンスに対するハイブリッドホップの影響

パフォーマンスはインタラクションの種類によって異なります。単一のAPI呼び出し（1ホップAPI）は、複数のAPI呼び出し（2ホップAPI）よりも簡単です。ドキュメントリトリーバー（RAGホップまたはハイブリッドAPI-RAGパターン）を追加すると難易度が上がります。1ホップRAGの質問では、GPT-OSS-120Bはリトリーバーを呼び出す代わりにパラメトリックな知識から回答を返す傾向があり、これは質問がWikipediaエンティティに焦点を当てているためと考えられます。Gemini-3-flash-previewは、2ホップAPI-RAGパターンにおいて比較的強いパフォーマンスを示しており、これはダッシュボードAPIのツール選択能力の高さによるものと考えられます。

モデルのパフォーマンスに対するポリシーの影響

ポリシーが最も関連性の高い情報ソースへのアクセスを制限する場合（「Policy updates the answer」）、Granite-4.0-h-Small-32Bを除くすべてのモデルで明確なパフォーマンスの低下が見られます。モデルは制約に違反するか、十分な情報を取得できないかのいずれかであり、ポリシーを理解していても誤った回答をすることがあります。これは、モデルがツールやソースについて推論することはできても、その推論に外部の制約を組み込むことに苦戦していることを示しており、これは信頼できる実世界へのデプロイメントにおける重要な要件です。

結論

VAKRAは、表面的なツールの習熟度と、堅牢なエンドツーエンドのエージェントの信頼性との間の決定的なギャップを露呈させています。現代のモデルはAPIを選択し、孤立したツール呼び出しを実行する能力がますます向上していますが、このベンチマークは、これらの能力だけでは実世界へのデプロイメントには不十分であることを示しています。モデルは、API、ドキュメント、対話コンテキスト、およびポリシー要件にわたる実行制約の下で構成的推論を行うよう求められると、しばしば崩壊します。

VAKRAを試す — あなたのエージェントはどこで壊れるか？

VAKRAベンチマークでエージェントをテストして、ツール選択、マルチホップ推論、またはポリシー制約のどこで失敗するかを確認してください。

👉 試してみて、エージェントが何を学んだか教えてください

Sources