ALTK-Evolve エージェントの信頼性のための整合性ガイドライン

AIエージェントにおける整合性のギャップの削減

AIエージェントは、同一の入力であっても、ある試行ではタスクを解決できるが次の試行では失敗するという「整合性のギャップ」を示すことがよくあります。これに対処するため、Hugging FaceとIBM Researchは、altk-evolveツールキット内に整合性ガイドラインとConsistency Analyzerを導入しました。これにより、AppWorldベンチマークにおけるReActエージェントの整合性のギャップが、平均精度を犠牲にすることなく、24.4パーセントポイント（pp）から12.0ppへと半減しました。

整合性のギャップ：Mean@k vs. Pass^k

標準的なエージェントベンチマークは通常、Mean@k（k回の実行における平均合格率）を報告しますが、これは一般的な能力を測定するものであり、信頼性を隠してしまいます。実際のユーザー体験、つまりエージェントが同じ質問をされたときに毎回成功するかどうかを測定するために、研究者たちはPass^kを提案しています。これは、エージェントがk回の実行すべてにおいて成功する割合です。

AppWorldのtest_normalデータセット上でGPT-4.1を使用したReActエージェントを用いて、研究者たちは重大な信頼性の問題を特定しました：

  • Mean@5: 77.4% (平均成功率)
  • Pass^5: 53.0% (5回すべての実行で成功)
  • Consistency Gap: 24.4pp

このギャップは、タスクの約4分の1が不整合に解決されていることを示しており、これはプラットフォーム側の摂動やLLMの確率分布の性質により、temperature 0.0であっても発生する問題です。

エージェントの「反転」のメカニズム

エージェントの不整合は、意思決定ポイント（例：APIや引数の選択）におけるトークン確率分布の形状に起因します：

  • Sharp Distributions: 確率の大部分が1つのトークンに集中しており、決定がノイズに対して耐性があります。
  • Flat Distributions: 確率の大部分が、ほぼ同等の複数のトークンに分散しています。小さな摂動によってこれらの同等性が順序を変え、エージェントの決定を「反転」させてしまいます。

エージェントの軌跡（trajectory）は、数十ものこのような決定を連鎖させるため、ステップごとの小さな反転の可能性が蓄積し、一連の実行の中で少なくとも1回は逸脱して失敗する確率が高くなります。

Consistency Analyzerとガイドライン・パイプライン

これらの「反転しやすい」意思決定ポイントを安定化させるために、研究者たちは2段階の診断・修復パイプラインを開発しました：

1. Consistency Analyzerによる検出

Consistency Analyzerは、単一の記録された軌跡内の不安定なステップを特定します。既存のコンテキストに基づき、その特定のステップに対してk回の補完（デフォルトはk=5）をリクエストすることで、各意思決定ステップをリプレイします。このブラックボックス・アプローチは、正解データ（ground truth）やロジット（logits）を必要とせず、タスクの端から端までの再実行も必要としないため、本番環境のトラフィックに対して実行可能です。

2. ターゲットを絞ったガイドラインの生成

不整合としてフラグが立てられたステップは、ALTK-Evolveフレームワークを使用して整合性ガイドラインに変換されます。これらのガイドラインは、タスク固有の些細な知識ではなく、汎用的なルールです。例えば、エージェントがノート内のマーカーを数える際に不整合が生じる場合、システムは「プレーンな部分文字列カウントではなく、行にアンカーされたregex matchを使用する」というガイドラインを生成することがあります。

パフォーマンス結果と汎用性

GPT-4.1を使用したAppWorld test_normalでの評価では、整合性ガイドラインがすべての難易度ティアにおいて信頼性を大幅に改善することを示しました：

  • Aggregate Pass^5: 53.0%から69.0%へ増加 (+16.0pp).
  • Aggregate Mean@5: 77.4%から81.0%へ増加 (+3.6pp).
  • Consistency Gap: 24.4ppから12.0ppへと縮小。

難易度別の影響

  • Medium Tasks: Pass^5において最も高い絶対的な利得 (+22.9pp) を見せました。
  • Hard Tasks: Pass^5において45%の相対的な増加 (+14.3pp) を見せました。
  • Easy Tasks: +12.2ppの利得がありました。

汎用性

整合性ガイドラインは、それらが抽出された特定の軌跡を超えて汎用化されます。同じシナリオ内の異なるが関連するタスクに適用した場合、Pass^5は13.0pp増加しました。より弱いモデル（gpt-oss-120b）でのテストでは、同様のタスクにおける汎用化の利得が+8.7ppとなり、同様のタスクにおける汎用化の利得が+8.7ppとなり、ガイドラインが特定のトレースを記憶するのではなく、再利用可能な失敗パターンを捕捉していることを示唆しています。

エージェント開発者への実装推奨事項

エージェントを本番環境にデプロイする場合、研究者たちはいくつかの重要なプラクティスを提案しています：

  • Mean@kとPass^kを併記して報告することで、信頼できるエージェントか、運が良いだけのエージェントかを区別します。
  • 最も困難なタスクを監視してください。整合性のギャップップは通常、タスクの難易度が高くなるにつれて拡大します。
  • モデルのサイズよりも安定性を優先する。整合性は能力とは別個のものです。より大きなモデルは平均精度を向上させるかもしれませんが、必ずしも整合性のギャップを縮小させるわけではありません。
  • オフライン診断を利用する。Consistency Analyzerは、既存のトレースを使い、ライブ環境のリプレイをなしとして、ターゲットを絞った少数のLLM呼び出しのみを使用してリスクを識別できるため、実用的な方法です。

Sources