ALTK-Evolve: 学習済みメモリがフロンティアモデルなしでカスタマーサービスタスクのτ²-benchリーダーボードでトップに立つ方法

学習済みメモリが重みの更新なしでエージェントのパフォーマンスを向上させる

ALTK-Evolveは、成功および失敗したタスクの軌跡を自動的に行動ガイドラインのセットに抽出することで、カスタマーサービスエージェントがτ²-benchリーダーボードでトップクラスのパフォーマンスを達成できるようにします。これらのガイドラインはエージェントのシステムプロンプトに追加され、ファインチューニングや人間のアノテーション、あるいは基盤となるモデルの重みの変更を必要とせずに、モデルの信頼性と精度を向上させることができます。

このアプローチを使用して、gpt-4.1を搭載した基本的なReActエージェントは、2026年10月12日時点でτ²-benchの小売ドメインにおいて67.5%のPass^4スコアを達成しました。このパフォーマンスは、合成データでファインチューニングされたシステムを含む、リーダーボード上の他のすべての小売関連エントリーを上回っており、プロンプトレベルのメモリが古いモデルとフロンティアシステムとの間のパフォーマンスのギャップを効果的に埋められることを示しています。

メソドロジー：エージェントの軌跡からガイドラインを抽出する

ALTK-Evolveは、エージェントのトレーニングタスクの試行を分析する自己改善ループとして機能します。システムは、エージェントを動かすのと同じLLMを使用して、成功した対話と失敗した対話から、認証プロトコル、取引確認ステップ、返品処理手順などの具体的な行動ルールを抽出します。これらのルールはマークダウン形式のリストにまとめられ、後続のタスクのためにエージェントのシステムプロンプトに追加されます。

これらのガイドラインを追加することで、エージェントはドメイン固有のポリシーとベストプラクティスを強制する「プレイブック」を獲得します。このプロセスは完全に自動化されており、ルールをキュレートするために人間の介入を必要とせず、ガイドラインは汎用性を確保するためにホールドアウトテストセット全体に一貫して適用されます。

パフォーマンスと信頼性の向上

ガイドラインは、エージェントの能力（平均精度）と信頼性（Pass^4）の両方を向上させます。小売ドメインでは、「ロスレス」構成（抽出されたすべてのガイドラインを組み込んだもの）により、ベースラインと比較してPass^4が10パーセントポイント向上しました。航空ドメインでは、ロスレス構成で精度が向上した一方で、よりコンパクトな「sup3」コア（サポート数≥3のガイドライン）が最高の信頼性を提供しました。これは、最適なガイダンスの量がドメインに依存することを示しています。

重要なのは、これらのパフォーマンス向上が、より長く複雑な会話という代償を伴わないことです。分析によると、ALTK-Evolveガイドラインを使用するエージェントは、実際にはベースラインエージェントよりもわずかに少ないターン数でタスクを完了しており、エンドツーエンドのレイテンシが短縮されています。プロンプト長の増加により入力トークンコストは上昇しますが、これらのコストはプロンプトキャッシングを使用することで、本番環境において大部分を軽減できます。

モデル階層全体への適用性

学習済みガイドラインは、フロンティアモデルに適用した場合でも大きな利点をもたらします。gpt-5.5を搭載した航空エージェントをテストした際、学習済みガイドラインを追加することでPass^4スコアが15パーセントポイント向上し、82.0%の成功率でリーダーボードのトップに立ちました。これは、ALTK-Evolveが単なる弱いモデルのためのパッチではなく、異なるモデルアーキテクチャ全体でエージェントの行動を強化するための堅牢なフレームワークであることを裏付けています。