ALTK-Evolve vs ACE: 同じ教訓、より少ないトークン
TL;DR
ALTK‑Evolveは、推論時に常にプレイブック全体を読み込ませるのではなく、最も関連性の高いガイドラインのみを提供するため、ACEと同等以上のタスク目標達成率を達成しながら、トークン消費量を約4分の1から7分の1に抑えています。
両システムに共通すること
ACE (Agentic Context Engineering) と ALTK‑Evolve は、どちらもエージェントの過去の軌跡を、圧縮せずに保存される教訓 (lessons) として扱います。各教訓は、それが生成されたエピソード数を示すサポートカウント (support count) を持つ個別のオブジェクトとして保持されます。この設計により、モデルが膨大な経験を少数の一般的なルールに要約することを強制されたときに発生する、簡潔さへのバイアス (brevity bias) や コンテキストの崩壊 (context collapse) の問題を回避しています。
"それらを要約するのではなく、カウントせよ。" — ACEの各項目ごとのカウンターと、ALTK‑Evolveのサポートカウントの背後にある共通の原則。
システムの違い
メモリ構築
- ACE は、Generator → Reflector → Curator ループを介して、単一の進化するプレイブック (playbook) を構築します。重複に近い教訓はクラスター化され、統合されます。生き残ったエントリは統合されたサポートカウントを継承し、経験の出所を保持します。
- ALTK‑Evolve は、それぞれが独自のサポートカウントを持つ、フラットなガイドライン (guidelines) のセットを作成します。教訓は単一のドキュメントに統合されるのではなく、個別に検索可能な状態で保持されます。
デリバリーメカニズム (トークンコストの要因)
- ACE は、モデルのサイズやタスクの難易度に関係なく、あらゆる推論ステップでプレイブック全体をプロンプトに注入します。
- ALTK‑Evolve は、デリバリーを構成可能なダイヤルとして扱います。高サポートのガイドラインの小さなコアは常に含まれ、追加のガイドラインはコサイン類似度またはLLMによるランキングを使用してタスクごとに選択されます。モデルに十分なコンテキストウィンドウがある場合は、統合されたフルセットを使用できますが、そうでない場合は最も関連性の高いサブセットのみが送信されます。
このデリバリーの選択が、以下に報告されているトークン使用量の差を直接的に説明しています。
AppWorldベンチマークにおける実証比較
すべての実験は、同じ ReAct コードエージェントのベースと、同一のタスク分割 (AppWorld test_normal, 168タスク) を使用しています。結果は単一実行の pass@1 スコアです。
| モデル | システム | TGC ↑ | SGC ↑ | タスクあたりのトークン |
|---|---|---|---|---|
| DeepSeek‑V3.2 | ACE | 80.4 / 73.2 | 634 K | |
| ALTK‑Evolve | 89.3 / 80.4 | 263 K | ||
| gpt‑oss‑120b | ACE | 54.8 / 35.7 | 777 K | |
| ALTK‑Evolve | 56.0 / 37.5 | 116 K |
より強力なモデル (gpt‑oss-120b) では、ALTK‑EvolveはACEのトークン予算の約15%のみを使用して、より高いTGCを達成しています。より弱いモデル (DeepSeek-V3.2) では、トークンコストの約40%でACEの精度に匹敵しています。
難易度別の内訳
DeepSeek‑V3.2 (図1の右パネル)
- ALTK‑Evolveは、Easy、Hard、およびOverallで勝利しています。
- ACEはMediumでわずかに上回っています。
gpt‑oss‑120b (図1の左パネル)
- ACEは、強力なモデルに対して汎用的な指示を含むフルプレイブックが役立つため、EasyとMediumでリードしています。
- ALTK‑Evolveは、純粋な量よりも適切な教訓の選択が重要となるHardタスクで圧倒しており、この利点が総合スコアを押し上げています。
この図は、選択的な検索が困難なタスクに利益をもたらす一方で、フルプレイブックはより簡単で汎用的なサブタスクには有利になり得ることを示しています。
なぜデリバリーが重要なのか
トークンの格差は、完全にデリバリー段階に起因しています。ACEの固定サイズの注入は、モデルに毎ステップでプレイブック全体を処理することを強制し、モデルのコンテキスト容量に関係なくプロンプトの長さを膨張させます。ALTK‑Evolveの適応的な検索は、モデルが実際に注意を払うことができる範囲にプロンプトを削り、パフォーマンスを犠牲にすることなく（時には向上させながら）推論コストを削減します。
抽出、統合、および検索パイプラインについては、ALTK‑Evolve library を試すか、詳細なアブレーションについては full technical report を読んでください。
関連アーティファクトと参考文献
- ALTK‑Evolve introduction – https://huggingface.co/blog/ibm-research/altk-evolve
- ACE (Agentic Context Engineering) – https://arxiv.org/abs/2510.04618
- AppWorld benchmark – https://appworld.dev/appworld
- ALTK‑Evolve code – https://github.com/AgentToolkit/altk-evolve
- Full technical report – https://arxiv.org/abs/2603.10600
方法論的な詳細
- ベンチマーク: AppWorld
test_normal、9つのシミュレーションアプリにわたる168のマルチステップタスク。 - エージェント: ReAct コードエージェント (Python生成ステップ、環境が出力を返す)。
- 指標: TGC (Task Goal Completion) および SGC (Scenario Goal Completion)。トークンは、すべてのプロンプト素材を含むタスクあたりのカウント。
- メモリソース: トレーニング/開発分割からマイニングされた教訓のみ。人間によるラベルはなし。
- ベースラインの違い: ReAct プロンプトテンプレートは2つのシステム間で異なり、メモリなしのベースラインにわずかな差が生じています (72.0 vs 79.8 TGC)。比較は、絶対的なベースラインの差ではなく、メモリ追加後の相対的な利点に焦点を当てています。
参照テーブル
DeepSeek‑V3.2 – test_normal
| システム | # Guidelines | TGC | SGC | Tokens/task |
|---|---|---|---|---|
| ReAct, no memory | 0 | 79.8 | 64.3 | 148 K |
| ReAct + ACE | 106 | 80.4 | 73.2 | 634 K |
| ReAct + ALTK‑Evolve | 191 | 89.3 | 80.4 | 263 K |
gpt‑oss‑120b – test_normal
| システム | # Guidelines | TGC | SGC | Tokens/task |
|---|---|---|---|---|
| ReAct, no memory | 0 | 39.9 | 21.4 | 110 K |
| ReAct + ACE (full) | full | 54.8 | 35.7 | 777 K |
| ReAct + ALTK‑Evolve (selected) | ~29 | 56.0 | 37.5 | 116 K |
gpt‑oss‑120b – 難易度別内訳 (TGC)
| 難易度 | Baseline | ACE | ALTK‑Evolve |
|---|---|---|---|
| Easy | 66.7 | 84.2 | 82.5 |
| Medium | 35.4 | 60.4 | 56.2 |
| Hard | 19.1 | 23.8 | 31.8 |
| Aggregate | 39.9 | 54.8 | 56.0 |
テイクアウェイ
ACEとALTK‑Evolveは、エージェンティック・メモリ (agentic memory) —エージェント自身の経験を再利用可能な教訓に変えること —が、重みの更新なしにマルチステップのタスクパフォーマンスを向上させることを証明しています。実用的なデプロイメントにおける決定的な要因は、それらの教訓がどのようにデリバリーされるかです。調整されたタスク認識型の検索戦略 (ALTK‑Evolve) は、推論トークンの消費を劇的に削減しながら、精度を維持または向上させることができます。
Sources
関連
- Dispatch
- Dispatch
- プロジェクト
- Dispatch